zzyzzy12

大数据搬砖狗...

对决策树,随机森林的初步认识

 决策树是常用的分类方法,其方法也非常的直观。每一次从父亲到孩子是对某个特征的分裂,对于树中的叶子,要么是已经为纯净的了(所有样本都属于同一类),或者没有特征可以分裂。对于后一种情况的出现,可以考虑将划分为该点样本属于最多的类。对于一个分类问题可以构造出很多很多的决策树,而对于一个要通过某个确定的决策树进行分类的实例,就是从根节点开始,依据分裂出的条件一直走到某个叶子节点而判定其分类。所以判定一棵决策树的标准是看其深度越低越好。为了达到这个目的,通常对分裂时选择哪个特征进行分裂来做文章,希望每次的分裂后出来的点纯度越高越好(一个直观的例子,若根据某个特征分裂出的每个点各自都属于同一个类别,该节点分裂后其子节点就都不用继续分裂了)。比如现在一款游戏的运行条件有各种各样的硬件软件需求,如果系统不是win10就无法运行,而其他的硬件条件需要相互的组合才能判断是否可以运行,那么显然根节点往下就对系统这个特征进行分裂是最优的,而不是做了一堆硬件的分类后再对系统这个特征进行分裂。为了得到理想的分裂方法,衍生出了各种概念和算法,比如信息熵,信息增益,ID3,C4.5等。同时,决策树容易出现过拟合(overfitting)的问题,可以通过剪枝的方式来缓和。


 设计出一棵牛逼的决策树,样本进行很好的分类是比较困难的。这时就可以使用随机森林的了,其本质就是弄一堆并不是那么厉害的决策树,而最终的分类结果由投票来决定。那么如何构造这些决策树?假设全量的训练集为M个样本,N个特征,对于每颗决策树Ti,随机选取M个样本中的Mi个样本,再随机选择N个特征中的Ni个特征,作为决策树的训练样本,再进行简单的训练就好。注意这里的随机选取是用有放回的选取,即有可能存在决策树选取的训练样本及其特征是完全相同的,但概率非常的小。奇妙的是如此得到的分类结果往往是较为理想的,而且不容易出现过拟合情况。


 以上只是自己感性的认识,而要深入理解是有大量的数学和证明作为基础的。
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/kk303/article/details/52776211
个人分类: 机器学习
想对作者说点什么? 我来说一句

初始决策树随机森林

2018年04月02日 26KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭