集成学习

以往的课程中很少涉及到集成学习，最近刚开始接触。

其实就现在对集成学习模糊的了解，感觉上是一个很实用且强大的思想方法。

今天看了bagging和boosting，乍一看感觉完全是一个意思，都是多次采样形成多个弱分类器，最后由这些弱分类器形成强分类器，以提高分类效果。

不过刚刚看了一篇博文，才了解到bagging和boosting最大的区别其实在于hard和soft。

bagging是通过hard，也就是投票方式将多个弱分类器的结果集成为最终分类结果，也就是投票最多的类称为预测结果。

boosting是通过soft，也就是权值方式将多个弱分类器的结果集成为最终分类结果，也就是根据每个分类器的正确率相应具有不同的投票权重（在bagging中其实默认每个分类器权重相等）。

4.16更正

bagging和boosting的区别可能不在于hard和soft，而在于bagging是均匀采样，而boosting是根据错误率来调整样本的采样概率。