c5.0决策树算法_决策树与随机森林（4）—— 决策树C5.0算法

Question 1: C5.0是如何对C4.5进行改进的?

C5.0算法通过加入 自适应增强(Adaboost) 算法对C4.5进行改进。 这是许多决策树构建的一个过程，然后这些决策树通过投票表决的方法为每个案例选择最优的分类。

Question 2: 什么叫做 Adaboost ？

简单来说，对于一个数据集，我们通过某种算法建立了第一个分类器， 若第一个分类器对样本 x1, x2 的分类效果好，对 x3 的分类效果差，那么第二个分类器通过一个神奇的公式，把对 x3 的权重增加，x1, x2的权重降低。为什么呢？因为我们认为第一分类器已经能很好的分类 x1 和 x2, 对 x3 却不行，所以我们不太需要让第二分类器考虑 x1, x2了，因为咱有第一份类器去处理他们了，所以第二个分类器就是要互补第一分类器，让它多多考虑第一分类器无法准确分类的数据。然后整很多这样的分类器，每个分类器一般来说能分类一些数据不能分类一些数据，但是通过他们的基友来帮他们分类他们所不行的数据，最后大家集成在一起，形成一个超厉害的分类器。最后对每个分类器给一个权重，看看他们在大分类器的重要性，大体公式是H(x)=sign(sum(权重*分类器t)), t=1,2...,N  意思就是把所有分类器的输出加起来，取正负号，得到最后的结果。 博采众长是 Adaboost 算法的核心。这就相当于老师布置了3道题的作业，A