周志华《机器学习》课后习题解答系列（五）：Ch4 - 决策树

本章所涉及编程练习采用Python-sklearn的方式，环境搭建可参考 数据挖掘入门：Python开发环境搭建（eclipse-pydev模式）.

查看相关答案和源代码，欢迎访问我的Github：PY131/Machine-Learning_ZhouZhihua.

本章概要

本章讲述决策树（decision tree），相关内容包括：

• 决策树生成（construction）

子决策（sub-decision）、递归生成算法（basic algorithm）、最优划分属性、纯度（purity）、信息熵（information entropy）、信息增益（information gain）、ID3 、增益率（gain ratio）、C4.5 、基尼指数（gini index）、CART；

• 剪枝（pruning）

过拟合、泛化能力、预剪枝（prepruning）（自上而下）、决策树桩（decision stump）、欠拟合、后剪枝（postpruning）（自下而上）、完全树。

• 连续属性、缺失值（continuous variables, missing values）

连续属性离散化、二分法（bi-partition）、值缺失时属性划分、缺值样本划分、权重、加权信息增益；

• 多变量决策树（multivariate decision tree）

斜划分、斜决策树（oblique decision tree）、非叶节点-线性分类器；

此外还提及了C4.5Rule、OC1、感知机树等拓展方法，以及增量学习算法ID4、ID5R、ITI等；

决策树的优劣总结

根据sklearn官网 - 1.10.Decision Trees总结如下：

1. 优势（Advantages）：

   • 易理解，解释性好，易可视化&#x