周志华《机器学习》 读后感

原创 2016年09月16日 20:03:55

书还是比较厚的,我会挑感兴趣的章节先更新。

以写小结和感想为主。(我也是机器学习入门,所以小结以感性理解为主。)



第四章 决策树 ☑️


---------第四章 决策树 -----------

What

决策树 首先是一棵树 利用贪心法 每个中间节点 按照学习到的原则分隔 几波数据,(就是分叉几个子节点)。

所以对于分类问题而言,数据从根节点进入,最后掉到的叶结点是哪个类的 就是哪个类,就是output。

对于回归问题而言,每个节点设计的规则是一个区间,比如 <0.5 和  >= 0.5的这样就分了两个区间。

最后掉到的叶子节点也是个区间(到根节点路径上的条件的交集)。


How

1. 按照什么贪心原则来分叉子节点?

按照分叉后的信息熵,选个信息熵减小最多的分叉方法。

(看过数学之美以后就记得,p=0和1时 信息熵是0,因为都不用猜了。贪心的是分隔最好的情况。

我按纹理分西瓜,条纹的100%是好瓜,斑点的100%是坏瓜。那我一下就解决了分类好瓜坏瓜的问题。

如果按颜色,深绿的90%好瓜10%坏瓜,浅绿的10%好瓜90%坏瓜。

这个贪心原则告诉我们,当然是按纹理来分叉好啊!)

也可以按基尼指数来划分,我觉得这个和信息熵是异曲同工的。

基尼指数是指,我按一定原则划分好以后,测某一分叉中,随机两个样本不是同一类的概率,最后所有分叉的概率求和。越小越好咯~

所以最后贪心  基尼指数最小的一种划分。

2. 过/欠拟合怎么办? (可以想象树很多叉的话,过于精细,特别容易过拟合)

a. 预剪枝

在分叉前判断,这个分叉在validation上面结果好不好,不好的话,咱就不分叉了。(但这个方法容易欠拟合,换句话就是啥都没学到)

b.后剪枝

根据训练集先生成一棵树,然后再删分支。

删之前,看一下 validation set准确率。

删之后,父节点变成子结点,按照 training set ,来定义它的节点含义。然后再看一下现在 validation set准确率。

如果高了就真的删,不高不删。


3. 数据有缺失值,怎么办?

如果这个节点的判断条件里要求的属性正好缺失,

那就两边都分一点咯。(意义是有一定概率掉到A分支,一定概率掉到B分支,可按照没有缺失的样本掉入的比例来赋值这个概率)


4. 有没有可能每个节点都是一个svm? 多变量决策树 

每个节点的判断条件由多个变量决定。



---------第八章 集成学习 -----------

还记得  之前吐槽过cuhk做人脸的时候人脸切了好多patch,每个patch train一个神经网络  太脏了。。。

What

首先,集成学习很实用,特别当你已经训好几个不同的单个分类器的时候,只要采用投票策略,就可能比其中最好的单分类器的结果要好。

但投票策略也不能保证一定比原来单个分类器的结果更好。

(一个简单的投票策略:m个分类器,其中有一半以上说这张图片是狗,那么预测是狗。如果没到一半,就拒绝预测。有种中合大家预测结果的感觉。)


How

集成学习 可以分为两类:


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

机器学习(周志华) 参考答案 第四章 决策树

机器学习(周志华) 参考答案 第四章 决策树 机器学习(周志华西瓜书) 参考答案 总目录 http://blog.csdn.net/icefire_tyh/article/details/520...

周志华《机器学习》版本空间

转自:https://www.zhihu.com/question/40237283/answer/92414386 版本空间定义: 版本空间(version space)是概...

求助C语言的英语单词

有哪位大侠有C语言的单词发音和名词翻译发给我,我在这里先谢谢了!!!!!!...

计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接

以下链接是整理的关于计算机视觉(ComputerVision, CV)领域的网站链接,其中有CV牛人的主页,CV研究小组的主页,CV领域的paper,代码,CV领域的最新动态,国内的应用情况等等。打算...

计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接

以下链接是本人整理的关于计算机视觉(ComputerVision, CV)相关领域的网站链接,其中有CV牛人的主页,CV研究小组的主页,CV领域的paper,代码,CV领域的最新动态,国内的应用情况等...

读机器学习(周志华)笔记第一章

  • 2017年11月16日 16:02
  • 1.89MB
  • 下载

周志华机器学习配套ppt

  • 2017年11月11日 21:22
  • 15.77MB
  • 下载

机器学习(周志华西瓜书) 参考答案 总目录

机器学习(周志华西瓜书)参考答案总目录 从刚开始学习机器学习到现在也有几个月了,期间看过PDF,上过MOOC,总感觉知道一点了又不是特别明白,最后趁某东买书大减价弄了几本相关的书来看看,其中一本就是...

周志华 机器学习 的学习笔记

  • 2017年11月05日 12:40
  • 12.8MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:周志华《机器学习》 读后感
举报原因:
原因补充:

(最多只允许输入30个字)