数据挖掘经典算法之：C4.5算法

一.C4.5算法

C4.5算法是对ID3算法的一种改进，所以，首先我们来看ID3算法。

ID3算法是在决策树各个结点上应用信息增益准则来选择特征，递归地构建决策树。

决策树：是一种基本的分类与回归方法，一种分类决策模型，是一种树形结构，该模型具有可读性，分类速度快的优点。决策树由结点（内部结点、叶结点）和有向边组成。内部结点表示特征或属性，叶结点表示类或结论。决策树如下图所示：其中圆点表示特征/属性（内部结点），框框表示类/结论（叶结点），——>箭头表示条件。

决策树实质上是从给定的训练数据中归纳出一组分类规则，由训练数据集估计条件概率模型的一种学习模型。该学习模型用损失函数来表示这一目标，损失函数通常是正则化的极大似然函数。

信息增益：特征A对训练数据集D的信息增益g(D，A)，定义的为集合D的经验嫡H(D)与特征A 给定条件下D的经验条件嫡H（D|A）之间的差。即：g(D，A)=H(D)-H（D|A）。

H(D)表示对数据集D进行分类的不确定性，H(D|A)表示特征A给定的条件下对数据集进行分类的不确定性，所以他们的差，即信息增益就表示了由于特征A而是的对数据集D的分类不确定性减少的程度了。显然，信息增益越大的特征越具有更强的分类能力。

经验嫡概率：

条件经验嫡概率：

现在假设训数据集为D，其中，其中，为输入实例（特征向量），n为特征个数，为类标记，即标记每个实例，i=1,2,...,N，N为样本容量。

|D|为训练集的样本容量，即样本的个数(N)。现假设有K个类