数据挖掘

C4.5算法：
是决策树算法的一种，决策树算法作为一种分类算法，目标就是将具有p维特征的n个样本分到c个类别中去。
1.计算类别信息熵
类别信息熵表示的是所有样本中各种类别出现不确定性之和，根据熵的概念，熵越大，不确定性就得越大，把事情搞清楚所需要的信息量就越多。
2.计算每个属性的信息熵
每个信息熵相当于一种条件熵，他表示的是在某种属性的条件下，各种类别出现的不确定性之和，属性的信息熵越大，表示这个属性中拥有的样本类别越不纯
3.计算信息增益
信息增益=熵-条件熵，在这里就是类别信息熵-属性信息熵，它表示的是信息不确定性减少的程度，如果一个属性的信息增益越大，就表示用这个属性进行样本划分可以更好的减少划分后的样本的不确定性，当然 ，选择该属性就可以更快更好的完成我们的分类目标。
信息增益就是ID3算法的特征选择指标
但是我们假设这样的情况，每个属性中的每种类别都只有一个样本，那这样的属性信息熵就等于零，根据信息增益就无法选择出有效分类特征，所以，C4,5选择信息增益率对ID3进行改进
4.计算属性分类分裂信息度量
用分裂信息度量来考虑某种属性进行分裂时分支的数量信息和尺寸信息，我们把这些信息称为属性的内在信息，信息增益率用信息增益/内在信息，会导致属性的重要性随着内在信息的增大而减小，这样算是对单纯用信息增益有所补偿。
5.计算信息增益率
天气的信息增益率最高，选择天气为分裂属性，发现分裂之后，天气是阴的条件下，类别是穿
至此，这个数据集上c4.5的计算过程就算完成了，一棵树也构建出来了。
总结算法流程为：
while (当前节点“不纯”）
（1）计算当前节点的类别信息熵info（D）以类别取值计算
（2）计算当前节点各个属性的信息熵Info（Ai）（以属性取值下的类别取值计算）
（3）计算各个属性的信息增益Gain（Ai）-info（D）-info（Ai）
（4）计算各个属性的分类信息度量H（Ai）（以属性取值计算）
（5）计算各个属性的信息增益率IGR（Ai）=Gain（Ai）/H(Ai)
end while
当前节点设置为叶子节点
优点：
产生的分类规则易于理解，准确率较高
缺点：
在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。
代码：