西瓜书学习计划-3

CH4 决策树

引入信息增益、信息熵来选择最有效的分类属性，依次划分形成树。
信息增益越大，意味着使用该属性来划分所获得的纯度提升大；因此，可用信息增益来进行决策树的划分属性选择，ID3。
采用增益率，即增益比值进行计算；又称为C4.5决策树算法；
CART决策树采用基尼指数来划分属性；直观上，基尼指数反映从数据集中随机抽取两个样本，其类别不一致的概率；因此Gini 越小，数据集的纯度越高；

剪枝是为了应对决策树学习算法中的过拟合；
决策树剪枝分为预剪枝和后剪枝，区别是在生成前还是生成后剪枝。预剪枝通过训练前后的泛化性能进行估计，后剪枝在决策树生成完成后，从下往上进行精度考核。

后剪枝：欠拟合风险小，泛化性能常优于预剪枝；但训练开销比未剪枝和预剪枝大

对于连续变量，在决策树的学习中，常采用离散化技术，如二分法；

延伸到多变量决策树；