周志华《机器学习》 读后感

标签: 机器学习 数据 周志华 决策树
2795人阅读 评论(1) 收藏 举报
分类:

书还是比较厚的,我会挑感兴趣的章节先更新。

以写小结和感想为主。(我也是机器学习入门,所以小结以感性理解为主。)



第四章 决策树 ☑️


---------第四章 决策树 -----------

What

决策树 首先是一棵树 利用贪心法 每个中间节点 按照学习到的原则分隔 几波数据,(就是分叉几个子节点)。

所以对于分类问题而言,数据从根节点进入,最后掉到的叶结点是哪个类的 就是哪个类,就是output。

对于回归问题而言,每个节点设计的规则是一个区间,比如 <0.5 和  >= 0.5的这样就分了两个区间。

最后掉到的叶子节点也是个区间(到根节点路径上的条件的交集)。


How

1. 按照什么贪心原则来分叉子节点?

按照分叉后的信息熵,选个信息熵减小最多的分叉方法。

(看过数学之美以后就记得,p=0和1时 信息熵是0,因为都不用猜了。贪心的是分隔最好的情况。

我按纹理分西瓜,条纹的100%是好瓜,斑点的100%是坏瓜。那我一下就解决了分类好瓜坏瓜的问题。

如果按颜色,深绿的90%好瓜10%坏瓜,浅绿的10%好瓜90%坏瓜。

这个贪心原则告诉我们,当然是按纹理来分叉好啊!)

也可以按基尼指数来划分,我觉得这个和信息熵是异曲同工的。

基尼指数是指,我按一定原则划分好以后,测某一分叉中,随机两个样本不是同一类的概率,最后所有分叉的概率求和。越小越好咯~

所以最后贪心  基尼指数最小的一种划分。

2. 过/欠拟合怎么办? (可以想象树很多叉的话,过于精细,特别容易过拟合)

a. 预剪枝

在分叉前判断,这个分叉在validation上面结果好不好,不好的话,咱就不分叉了。(但这个方法容易欠拟合,换句话就是啥都没学到)

b.后剪枝

根据训练集先生成一棵树,然后再删分支。

删之前,看一下 validation set准确率。

删之后,父节点变成子结点,按照 training set ,来定义它的节点含义。然后再看一下现在 validation set准确率。

如果高了就真的删,不高不删。


3. 数据有缺失值,怎么办?

如果这个节点的判断条件里要求的属性正好缺失,

那就两边都分一点咯。(意义是有一定概率掉到A分支,一定概率掉到B分支,可按照没有缺失的样本掉入的比例来赋值这个概率)


4. 有没有可能每个节点都是一个svm? 多变量决策树 

每个节点的判断条件由多个变量决定。



---------第八章 集成学习 -----------

还记得  之前吐槽过cuhk做人脸的时候人脸切了好多patch,每个patch train一个神经网络  太脏了。。。

What

首先,集成学习很实用,特别当你已经训好几个不同的单个分类器的时候,只要采用投票策略,就可能比其中最好的单分类器的结果要好。

但投票策略也不能保证一定比原来单个分类器的结果更好。

(一个简单的投票策略:m个分类器,其中有一半以上说这张图片是狗,那么预测是狗。如果没到一半,就拒绝预测。有种中合大家预测结果的感觉。)


How

集成学习 可以分为两类:


查看评论

机器学习-周志华-课后习题答案-决策树

本文为博主原创,由于没有可以参考的答案,所以内容中若有错误的地方烦请指正,不甚感激。 注:本文中的代码均使用python,常用工具包包括 pandas,scikit-learn,numpy, sci...
  • wzmsltw
  • wzmsltw
  • 2016-04-04 23:07:26
  • 11376

《机器学习》-- 周志华 (第一章学习笔记)

第一章学习笔记基本术语 分类(classification):若我们欲预测的是离散值,如“好瓜”“坏瓜”,此类学习任务成为“分类”。 回归(regression):若预测的是连续值,如西瓜成熟度0.6...
  • Cristal_yin
  • Cristal_yin
  • 2017-07-08 13:11:08
  • 562

周志华《机器学习》笔记:第2章 模型评估与选择

本章概括 本章介绍模型评估与选择,包括: 1. 误差产生:过拟合和欠拟合 2. 评估方法:给定数据集后如何产生训练集和测试集 3. 性能度量:建立衡量模型泛化能力的评价标准 ...
  • yzqzoom
  • yzqzoom
  • 2016-07-10 12:00:46
  • 3328

机器学习笔记1绪论----教材周志华西瓜书

1.学习机器学习这门课,首先问下自己,什么是机器学习。 2.机器学习的一些术语 1.数据集(二维表) 2.对象、事例、事件、样本、记录-------二维表的一行 3.属性-----二维表的一列 4.属...
  • lanyifenghua
  • lanyifenghua
  • 2017-09-28 20:29:42
  • 154

周志华机器学习读后总结 第12、13章

计算学习理论 什么是计算学习理论 计算学习理论是关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计。泛化误差和经验误差是计算学习理论的两个重要概...
  • baidu_32142047
  • baidu_32142047
  • 2017-10-23 17:56:27
  • 246

《机器学习》读书笔记1

周志华《机器学习》,开学! 第一章 绪论 1.1 引言 机器学习(ML)所研究的主要内容:是关于在计算机上从数据中产生“模型”(model)的算法,即“学习算法”(learning algorit...
  • hornkeen
  • hornkeen
  • 2017-07-01 10:23:08
  • 159

周志华《机器学习》笔记:第1章 绪论

本章概括 简要介绍机器学习。 第1章 绪论 基本术语 假设空间 归纳偏好 发展历程与应用现状第1章 绪论所谓机器学习的研究内容就是从数据中产生模型的算法,也即learning algorithm...
  • yzqzoom
  • yzqzoom
  • 2016-07-10 11:50:16
  • 887

《机器学习》周志华 读书笔记(原创)

第1章 p1-p23  2017-2-20 Mon 模型:泛指从数据中学得的结果 Instance示例(或sample样本):每条记录的数据。每条记录是关于一个事件或对象的描述。 Data ...
  • angle_11111
  • angle_11111
  • 2017-02-20 20:38:46
  • 1085

《机器学习》周志华 读书笔记

第一章:绪论 泛化能力:学到模型适用于新样本的能力。衍生:泛化误差 归纳偏好:算法在机器学习过程中对某种假设的偏好 “奥卡姆剃刀”原则:若有多个假设与观察一致,则选最简单的那个 NFL定理:没...
  • houjing1990
  • houjing1990
  • 2017-04-17 15:02:17
  • 1048

《机器学习》周志华第四章笔记

自己对决策树的一些理解,不一定对,权当加深印象。4.1基本流程组成:一个根节点、若干内部节点和若干叶节点;叶节点对应了不同的预测结果,我们的目的是从包含样本全集的根节点找到它到每个叶节点的路径对应一个...
  • sysu_cis
  • sysu_cis
  • 2016-07-01 21:23:41
  • 1310
    个人资料
    持之以恒
    等级:
    访问量: 8万+
    积分: 1290
    排名: 3万+
    关于我