机器学习之 决策树、随机森林

一、决策树
选择特征来分割
分割方法：ID3、C4.5、CART
1.ID3：信息增益来选择最优分割
ID3偏向取值较多的属性，例如ID列
2.C4.5:信息增益率选择最优分割
信息增益 / IV
属性A的特征个数越多，IV越大。信息增益率又会偏向较少的特征。C4.5先找出信息增益高于平均水平的属性，再从中选择增益率最高的。
对于连续属性采用二分法，从小到大排序，中间值作为分割点，计算信息增益率，选择信息增益率最大的属性值进行分割。
3.CART:基尼系数选择最优分割。可用于回归和分类
CART为二叉树，相比于ID3和C4.5，CART应用多一点。
回归树：采用基尼系数选择最优分割
模型衡量标准采用最小化均方误差
二：随机森林
处理过大数据集：可以划分多个子集，对子集构建分类器
处理较小数据集：自助采样（bootstrap）
随机森林两个随机：数据选取的随机、特征选取的随机
1.数据选取的随机：
有放回的抽样（bootstrap）：构造与原数据集数量相同的子数据集。
2.待选特征的随机：
森林的子树的每一个分裂过程并未用到所有的特征，而是所有的待选特征中随机选取一定的特征。