机器学习入门--03决策树

1、决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的"分而治之" (divide-and-conquer) 策略。

2、三种情形会导致递归返回:
(1) 当前结点包含的样本全属于同一类别，无需划分;
(2) 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分;
(3) 当前结点包含的样本集合为空，不能划分。

3、一般而言，信息增益越大，则意味着使周属性 来进行划分所获得的"纯度提升"越大。

4、增益率准则对可取值数目较少的属性有所偏好。

5、CART Classification and Regression Tr.胆的简称，这是一种著名的决策树学习算法，分类和回归任务都可用。

6、剪枝(pruning) 是决策树学习算法对付"过拟合"的主要手段。