基于ID3、C4.5算法的决策树相关知识

基础概念

熵

离散型变量X的概率分布是P(X)。它的熵$H(X)orH(P)$越大，代表越均匀、越混乱、越不确定。熵的公式如下：
$$H(P)=-\sum _{x\in X}P(x)\log P(x)$$
定义$0\log 0=0$，熵是非负的。熵只与$X$的分布有关，与$X$取值无关。当X服从均匀分布时，熵最大。

假设随机变量X只取两个值，如0和1。此时X的分布为：
$$H(p)=-plo{g}_{2}p-(1-p)log2(1-p)$$
此时，H§随着概率p的变换曲线如下图所示：

当p=0或者1时，随机变量完全是个确定值。所以熵达到了最小值，即$H(p)=0$。但是当$p_0=p_1=0.5$时，不确定性最大，熵达到了最大值1。

条件熵

条件熵H(Y|X)类似于条件概率，它度量了我们的Y在知道X以后剩下的不确定性，即给定X的条件下，Y的条件概率分布的熵对X的数学期望。表达式如下：
$$H(Y|X)=\sum _{j=1}^{n}p(x_j)H(Y|x_j)=-\sum _{i=1}^{n}p(x_i,y_i)logp(y_i|x_i)$$
当熵和条件熵中的概率p由数据估计(常见的是用极大似然估计)得到的时，对应的熵和条件熵成为经验熵和经验条件熵。

信息增益

特征A对数据集D的信息增益g(D|A)定义为：集合D的经验熵H(D)与特征A给定的条件下$D$的经验条件熵$H(D|A)$之差：
$$g(D,A)=H(D)-H(D|A)$$
一般的熵与条件熵的差也称为互信息。表示给定特征A使得数据集D不确定性减少的程度。显然不同的特征有不同的信息增益，使得信息增益最大的特征具有更强的分类能力。

信息增益算法：

输入：训练数据集$D$和特征$A$

输出：特征$A$对训练数据集$D$的信息增益$g(D,A)$

1. 数据集$D$的经验熵$H(D)=-{\sum }_{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$
2. 特征$A$对数据集$D$的经验条件熵$H(D|A)={\sum }_{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$
3. 信息增益$g(D,A)=H(D)-H(D|A)$

其中，|D|表示样本个数。假设有K个类，每个类用$C_k$表示，|$C_k$|表示属于第k个类别的样本个数。特征A有n个不同的取值{ ${\alpha }_1,{\alpha }_2,...,{\alpha }_n$}，那么用$D_i$表示特征A取第i个值的样本集合，$D_{ik}$用于表示 D