决策分类算法-C4.5算法原理

与ID3的不同之处：

（1）分支指标采用增益比例，而不是ID3所使用的信息增益；

（2）按照数值属性值的大小对样本排序，从中选择一个分割点，划分数值属性的取值区间，从而将ID3的处理能力扩充到数值属性上来。

（3）将训练样本集中的位置属性值用最常用的值代替，或者用该属性所有取值的平均值代替，从而处理缺少属性值的训练样本。

（4）使用k次迭代交叉验证，评估模型的优劣程度

（5）根据生成的决策树，可以产生一个if-then规则的集合，每一个规则代表从根节点到叶节点的一条路径。

增益比例

信息量（熵）split_info（S,A），其中，S代表训练样本集；A代表属性，这个信息量是与样本的类别无关的，计算公式如下：