为什么要集成分类器

将相互之间具有独立决策能力的分类器联合起来的方式就叫作集成分类器。事实证明通常情况下集成分类器的预测能力要比单个分类器的预测能力好得多。集成分类器就好比百万富翁节目里的“ 问现场观众”选项，而单个分类器就是 “打电话问老友”。单个人的判断能力在很多情况下是无法跟集体的智慧抗衡的，所以对于同样一个问题，“问现场观众”会比“打电话问老友”把握性大得多（除非你的这位老友真的是爱因斯坦级别的人了，呵呵）。

 

假设现在有21个分类器，每个分类器的错误率是0.3，我们通过集成这些分类器能得到更好的结果吗？首先，我们用最简单的方式去集成这些分类器的预测结果-“投票”，比如说我们总是选择超过一半分类器预测的结果作为最终预测结果，在这里就是选出有大于或等于11的预测结果作为最终预测结果。很显然，如果用其中的某个分类器去做预测的话，错误率就是0.3了，如果用集成的方法，那么错误率就是：