前言
写完GBDT就一直想要写一下有关集成学习的内容,也是给自己一个刨根问底的机会,那么就从这篇文章开刀吧,这一章节公式几乎没有,也不会过多的去解读公式的含义,只需要让大家能够理解集成学习的东西。能够将这种算法融入到自己的心中去,还是说希望大家也不要太深究这些公式,有些时候,这些公式只是给算法一个更为合理的解释,理解这个算法背后的原理和应用其实对大部分朋友来说更尤为重要,当然了有能力的朋友看懂公式也是超重要的。
一、Adaboost原理
集成算法是很强大的,就比如很火的xgboost,lightgbm。虽然Adaboost大家并不是很经常使用了,但是我觉得这也是集成学习基础,毕竟是很容易理解的东西,后面我还会写一篇关于xgboost的文章,作为传统推荐系统的结尾。
首先看一下基本原理,还是借用我关注的一位博主讲的谚语来开始讲解:
小学语文课本一篇名为《三个臭皮匠顶个诸葛亮》的文章。文章中写到诸葛亮带兵过江,江水湍急,而且里面多是突出水面的礁石。普通竹筏和船只很难过去,打头阵的船只都被水冲走触礁沉没,诸葛亮一筹莫展,也想不出好办法,入夜来了3个做牛皮活的皮匠献策。告诉诸葛亮买牛,然后把牛从肚皮下整张剥下来,封好切口后让士兵往里吹气,做成牛皮筏子,这样的筏子不怕撞,诸葛亮按此方法尝试并顺利过江。
这就是“三个臭皮匠顶个诸葛亮”的故事了,为什么