决策树随机森林

目录

 

决策树的过拟合

剪枝算法

Bootstraping

应用

一种可能的方案

样本不均衡的常用处理方法

使用RF建立计算样本间相似度

Isolation Forest

决策树分类鸢尾花数据

随机森林

决策树用于拟合

多输出的决策树回归

---

决策树的过拟合

决策树对训练属于有很好的分类能力，但对 未知的测试数据未必有好的分类能力，泛化 能力弱，即可能发生过拟合现象。

解决的方法：剪枝，随机森林。

剪枝系数的确定

剪枝算法

Bootstraping

Bootstraping的名称来自成语“pull up by your own  bootstraps”，意思是依靠你自己的资源，称为自助 法，它是一种有放回的抽样方法。

Bagging的策略

bootstrap aggregation

从样本集中重采样(有重复的)选出n个样本,在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等)重复以上两步m次，即获得了m个分类器,将数据放在这m个分类器上，最后根据这m  个分类器的投票结果，决定数据属于哪一类。

随机森林

随机森林在bagging基础上做了修改。从样本集中用Bootstrap采样选出n个样本；从所有属性中随机选择k个属性，选择最佳分割 属性作为节点建立CART决策树；重复以上两步m次，即建立了m棵CART决策树，这m个CART形成随机森林，通过投票表决结果，  决定数据属于哪一类。

应用

 

一种可能的方案

样本不均衡的常用处理方法

使用RF建立计算样本间相似度

x1,x3在同叶节点中，即相似度大，x1,x3与x2相似度不大。

 

Isolation Forest

 

决策树分类鸢尾花数据

随机森林

决策树用于拟合

多输出的决策树回归