你想知道的决策树原理及推导

本篇博客的目录：
特征
思想
信息增益
几个小知识点
决策树直观的例子
ID3，CART，C4.5算法

---

决策树的特征

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据
缺点：可能会产生过度匹配问题，不能有效利用特征间的关联关系
适用数据类型：数值型和标称型

决策树构造思想

要构造决策树，就需要根据样本数据集的数据特征对数据集进行划分，直到针对所有特征都划分过，或者划分的数据子集的所有数据的类别标签相同。然而要构造决策树，面临的第一个问题是先对哪个特征进行划分，即当前数据集上哪个特征在划分数据分类时起决定性作用。

信息增益

这块可以参考这篇文章https://blog.csdn.net/blank_tj/article/details/82056413

通过量化的方法将信息度量出来，利用信息论度量信息是一种有效方法。所以，我们可以在划分数据前后使用信息论量化度量信息的内容。
在划分数据集前后信息发生的变化成为信息增益，知道如何计算信息增益，就可以计算根据每个特征划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。
例如：$A \rightarrow B + C$，那么信息增益为：增益 = A - B - C

---

例如：一个盒子中分别有5个白球和5个红球，随机取出一个球，问，这个球是红色还是白色？这个问题信息量多大呢？由于红球和白球出现的概率都是1/2，那么久可以得到其信息熵为：$H(x) = -(\frac{1}{2}log_2(\frac{1}{2}) + \frac{1}{2}log_2(\frac{1}{2})) = 1$，是的，这个信息量是1bit。

如果一个盒子里有10个红球，随机取出一个，这个球什么颜色？这个问题的信息量是多少？信息量是0，因为这是一个确定事件，概率P(x)=1

---

在信息科学中，信息越混乱，熵越大。信息熵其实是一个随机变量信息量的数学期望，要明确这个概念，就要知道信息的定义。如果待分类的事务可能划分在多个分类之中，则符号$x_i$的信息定义为：

$l(x_i) = -log_2\ p(x_i)$其中$p(x_i)$是选择该分类的概率

为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值，通过下面的公式得到：

H=∑