一句话解释ID3\C4.5算法

ID3\C4.5算法

ID3算法

ID3算法，ID的意思是 Iteritive Dichotomiser(迭代二分类器)。

它的基本原理是对所有特征求信息增益，选出信息增益最大的特征，按照该特征对数据进行分组 $D_1,D_2$（二分类，所以分了两组），然后，如果每组中所有的样本都属于同一类，则创建该节点为叶子节点；否则，递归上面的步骤，一直到所有节点都为叶子节点结束递归。

C4.5算法

C4.5(Classifier4.5) 算法是对 ID3 算法的改进，就是将 ID3中的信息增益改为求信息增益比。

名词解释

信息增益：
特征 A 对训练数据集D的信息增益g(D,A)，定位集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即：
$$g(D,A)=H(D)-H(D|A)$$

信息增益比：
特征A对训练数据集D的信息增益比 $g_R(D,A)$ 定义为其信息增益 g(D, A) 与训练数据集 D关于特征A的值的熵 $H_A(D)$之比，即：
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
其中，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{D}$，n是特征A取值的个数。