机器学习算法梳理—决策树

一、信息论基础

1.信息定义

如果待分类的事务可能划分在多个分类之中，则信息定义为：

其中，xi 表示第 i 个分类，p(xi) 表示选择第 i 个分类的概率。
其中，n 表示分类的数量。

2.熵

熵定义为信息的期望值。熵是用来衡量一个系统混乱程度的物理量，代表一个系统中蕴含多少信息量，信息量越大表明一个系统不确定性就越大，就存在越多的可能性。熵值越大，则随机变量的不确定性就越大。假如有变量X，其可能的分类有n种，熵，可以通过下面的公式得到：

其中Pi是变量出现的概率。一个事物内部会存在随机性，也就是不确定性，而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息，任何公式或者数字的游戏都无法排除不确定性。

2. 条件熵

表示在直到某一条件后，某一随机变量的复杂性或不确定性。**知道的信息越多，随机事件的不确定性就越小。**定义如下：

3.联合熵

设X Y为两个随机变量，对于给定条件Y=y下，X的条件熵定义为：

4.信息增益

信息增益（information gain） 指的是划分数据集前后信息发生的变化。表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即：

熵H(Y)与条件熵H(Y|X)之差称为互信息(mutual information)

5.基尼不纯度

从一个数据集中随机选取子项，度量其被错误的划分到其他组里的概率。一个随机事件变成它的对立事件的概率。计算公式：(fi为某概率事件发生的概率)

二、ID3算法

1.原理

ID3算法（interative dichotomiser 3）的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点（root node）开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。相当于用极大似然法进行概率模型的选择。

2.过程

3.优缺点

ID3算法只有树的生成，所以该算法生成的树容易产生过拟合。

三、C4.5算法

1.原理

C4.5算法与 ID3 算法极为相似，只是在特征选择上有所不同，算是一种对 ID3 算法的改进了。C4.5算法在决策树生成过程中，用信息增益比来选择特征。

2.过程