集成学习之AdaBoost算法

前言

写完GBDT就一直想要写一下有关集成学习的内容，也是给自己一个刨根问底的机会，那么就从这篇文章开刀吧，这一章节公式几乎没有，也不会过多的去解读公式的含义，只需要让大家能够理解集成学习的东西。能够将这种算法融入到自己的心中去，还是说希望大家也不要太深究这些公式，有些时候，这些公式只是给算法一个更为合理的解释，理解这个算法背后的原理和应用其实对大部分朋友来说更尤为重要，当然了有能力的朋友看懂公式也是超重要的。

一、Adaboost原理

集成算法是很强大的，就比如很火的xgboost，lightgbm。虽然Adaboost大家并不是很经常使用了，但是我觉得这也是集成学习基础，毕竟是很容易理解的东西，后面我还会写一篇关于xgboost的文章，作为传统推荐系统的结尾。

首先看一下基本原理，还是借用我关注的一位博主讲的谚语来开始讲解：

小学语文课本一篇名为《三个臭皮匠顶个诸葛亮》的文章。文章中写到诸葛亮带兵过江，江水湍急，而且里面多是突出水面的礁石。普通竹筏和船只很难过去,打头阵的船只都被水冲走触礁沉没，诸葛亮一筹莫展，也想不出好办法，入夜来了3个做牛皮活的皮匠献策。告诉诸葛亮买牛，然后把牛从肚皮下整张剥下来，封好切口后让士兵往里吹气，做成牛皮筏子，这样的筏子不怕撞，诸葛亮按此方法尝试并顺利过江。

 这就是“三个臭皮匠顶个诸葛亮”的故事了，为什么先讲这个故事呢？ 一是怕一上来就满口官方话语，一顿数学公式的打消学习的兴趣，二是这个故事告诉了我们一个道理： 集思广益，博采众长。 这就是集成的含义。

集成算法通常用两种： 投票选举（bagging）和再学习（boosting）。

投票选举的场景类似把专家召集到一个会议桌前，当做一个决定的时候，让 K 个专家（K 个模型）分别