Sklearn参数详解—Adaboost

总第112篇

前言

今天这篇讲讲集成学习，集成学习就是将多个弱学习器集合成一个强学习器，你可以理解成现在有好多道判断题（判断对错即01），如果让学霸去做这些题，可能没啥问题，几乎全部都能做对，但是现实情况是学霸不常有，学渣倒是很多，怎么样做才能保证题做对的准确率较高呢？就是让多个学渣一起做， 每个人随机挑选一部分题目来做，最后将所有人的结果进行汇总，然后根据将票多者作为最后的结果；另一种方式就是先让学渣A做一遍，然后再让学渣B做，且让B重点关注A做错的那些题，再让C做，同样重点关注B做错的，依次循环，直到所有的学渣都把题目做了一遍为止。通过上面两种方式就可以做到学渣也能取得和学霸一样的成绩啦。我们把这种若干个学渣组合达到学霸效果的这种方式称为集成学习。

注：这里的学渣并无它意，请勿过度解读。

理解了集成学习的原理以后，我们来看看关于集成学习的一些理论知识。

理论知识

集成学习，就是将多个弱学习器集合成一个强学习器，那么我们如何来选取弱学习器呢，主要有两种方式。

• 第一种是所有的弱学习器都是一个种类的，比如都是决策树模型。

• 另一种是所有的弱学习器并不完全一样，你可以用LR预测一个结果，然后再用贝叶斯预测一个，再用SVM预测一个，然后对三个模型的预测结果进行投票，票数多