Decision Tree 决策树 - ID3, C45, C50, CART...

1. 是什么

决策树是最简单的也是最具解释性和表达性的一种机器学习算法，既可以处理分类问题（ID3，C45，C50），也可以处理回归问题（CART）。

它是根据特征（feature）的值逐步把数据分类，直到所有的叶子节点属于同一个类型结束。注意决策树都是贪婪的。

2. 关键概念

1. 如何确定哪个特征被优先选择用来分类。

根据某一个特征划分数据集，其划分前后信息熵会有变化。优先选择的特征是让给让信息熵变化最大或者信息熵增益比最大的特征。

不过，从另外一方面来说，也要避免选择日期或者非常特殊的特征来做决策点，因为这些特征不具备任何的泛化能力。

2. 如何避免过拟合。

对于决策树来说，如果树的高度过高，或者某个叶子节点的数据特别少，或者叶子节点非常多（后两者有关联），就有可能是过拟合，在匹配被预测数据的时候就不会有很好的性能。避免决策树学习中的过度拟合问题，通常通过两种方法：
（1）及早停止树增长，比如发现树的高度过高，叶节点过多，或者节点内数据过少。这是sci-kit learn库目前的做法。
（2）通过后剪枝减少决策树的节点的个数。
尽管上面第一种方法可能看起来更直接，但是对过度拟合的树进行后修剪被证明在实践中更成功。这是因为在第一种方法中精确的估计何时停止树增长很困难。后剪枝的算法基本上就是合并同一个根节点下面所有的叶节点成为一个大的节点，而选择哪些节点做合并则需要根据节点内部数据个数。

3. 算法分支（详情参见http://scikit-learn.org/stable/modules/tree.html）

• ID3

选取能够得到最大信息增益（information gain）的特征为数据划分归类，直到全部划分结束而不对树的规模进行任何控制。

等树生成之后，执行后剪枝。

信息增益的潜在问题是，比如有一个数据集含有一个特征是日期或者ID，