七月算法机器学习 11 决策树、随机森林、 adaboost

目录

主要内容

决策树

信息增益

三种决策树学习算法

决策树的例子

决策树的过拟合

Bootstraping

Bagging的策略

随机森林

提升的概念

Adaboost

举例

---

 

主要内容
 

决策树
 

 决策树学习采用的是自顶向下的递归方法，
 其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，
 此时每个叶节点中的实例都属于同一类。
 有监督学习
 

 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法。
 ID3
 C4.5
 CART

信息增益
 

 

三种决策树学习算法
 

 

决策树的例子
 

决策树的过拟合
 

 决策树对训练属于有很好的分类能力，但对未知的测试数据未必有好的分类能力，泛化能力弱，即可能发生过拟合现象。
 剪枝
 随机森林
 

Bootstraping
 

 Bootstraping的名称来自成语“pull up by yourown bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法。
 注： Bootstrap本义是指高靴子口后面的悬挂物、小环、带子，是穿靴子时用手向上拉的工具。“pullup by your own bootstraps”即“通过拉靴子让自己上升”，意思是“不可能发生的事情”。后来意思发生了转变，隐喻“不需要外界帮助，仅依靠自身力
量让自己变得更好” 。
 

Bagging的策略
 

每一个样本能生成一个决策树，最后投票

bagging不仅适合于决策树，也适合于其它算法

类似于民主政治

adaboost精英政治，加权平均

随机森林
 

随机，1 样本有放回抽样

2是属性的选择

提升的概念
 

 

Adaboost
 

举例