机器学习-有监督学习-集成学习方法(三)：Bootstrap-＞Boosting(提升)方法--＞前向分步算法--＞Adaboost算法--+决策树--＞Adaboost提升树

一、Bootstrap

Boostrap是靴子的带子的意思，名字来源于“pull up your ownboostraps”，意思是通过拉靴子提高自己，本来的意思是不可能发生的事情，但后来发展成通过自己的努力让事情变得更好。放在组合分类器这里，意思就是通过分类器自己提高分类的性能。
Boostrap只是提供了一种组合方法的思想，就是将基分类器的训练结果进行综合分析，而其它的名称如Bagging、Boosting是对组合方法的具体演绎。

Boostrap组合方法分为：Bagging算法与Boosting算法。

• Bagging的作用：降低“方差”；
• Boost的作用：降低“偏差”；

二、Boosting(提升)

• Boosting由弱分类器得到强分类器的过程：迭代优化：样本加权系数、分类器加权系数；