C4.5算法（一）代码实现

入门学习机器学习的十大算法，第一站就是C4.5算法。C4.5是一种决策树算法，属于监督学习。先给一个样本集，从而建立一棵决策树，然后根据这个决策树来对后续的数据做决策。

作为没有相关背景知识和系统学习过的人，当然要边学边记啦。C4.5算法我的学习步骤是这样： 

step 1: 了解清楚算法的逻辑，以及编程实现

step 2: 其中对连续变量的离散化处理

step 3: C4.5的剪枝

step 4: C4.5算法的spark实现

因为个人认为C4.5算法中比较难和重要的两个点就是对连续变量的离散化，和剪枝策略，所以会单独着重学习下。因为我终归是做hadoop和spark的，所以还会看看C4.5在spark上的应用和实现（C4.5显然不适合MapReduce模型）。本文只是step1，算法逻辑和编程实现的总结。

算法逻辑

1. 先明确几个概念：

熵： 朴素点说，就是信息的不确定性，多样性，包含的信息量的大小，需要用多少bit来传递这个信息。比如，抛一枚银币3次，得到的可能结果有8种，我们知道计算机要用3bit来传递，所以熵就是log2(8)=3。wiki上这样解释“你需要用 log2(n) 位来表示一个可以取 n 个值的变量。”

信息增益: 熵的减小量。决策树的期望是尽快定位，也就是说我们希望数据集的多样性越小越好，越小说明结果越稳定，越能定位到准确的结果。信息增益越大，则熵会变的越小，说明结果越好。信息增益的计算方式，是原数据集的熵，减去依照属性划分后，每个属性值的概率 * 对应的子数据集的熵。

信息增益率：对信息增益进行修正。信息增益会优先选择那些属性值多的属性，为了克服这种倾向，用一个属性计算出的信息增益，除以该属性本身的熵（SplitInfo），得到信息增益率。