决策树（一）

决策树（Decesion Tree）是一个树结构（可以是二叉树或非二叉树）

其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。

使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到达到叶子节点，将叶子节点存放的类别作为决策结果。

总结来说，决策树模型核心是下面几部分：
- 结点和有向边组成
- 结点有内部结点和叶节点俩种类型
- 内部结点表示一个特征，叶节点表示一个类。

下面通过ID3，C4.5 和CART算法对决策树算法做一个详细的介绍。

机器学习算法其实很古老，作为一个码农你会不停的敲if,else,if,其实你就已经在用决策树的思想了。只是你有没有想过，有这么多条件，只是你有没有想过，这么多条件，用哪个条件特征先做if，哪个条件特征后做if比较优呢？怎么准确的定量选择这个标准就是决策树算法的关键了。20世纪70年代，一个叫做昆兰的大牛找到了用信息论中的熵来度量决策树的决策选择过程，方法一出就引起了轰动。这个算法就是叫做ID3算法。

首先我们需要熟悉信息论中熵的概念。熵度量了事物的不确定性，越不确定的事物，它的熵越大。具体的，随机变量X的熵表达式如下：
\begin{equation}
H(x) = - \sum_{i=1}^n p_i log p_i
\end{equation}
其中，n代表X的n种不同的离散取值。而\(p_i\)代表了X取值为i的概率，log为以2或者e为底的对数。举个例子，比