本文深入探讨集成学习，包括个体与集成的关系、Boosting算法的原理和实现，以及Bagging和随机森林的区别。文章指出，集成学习通过结合多个个体学习器以提升整体性能，强调个体的准确性和多样性。文中详细介绍了Boosting的重赋权和重采样法，以及Bagging和随机森林在样本和属性扰动上的差异。随机森林通过引入属性随机选择增强了多样性。此外，文章还讨论了结合策略和多样性的关键作用。
因为是以李航的《统计学习方法》为主来看，将西瓜书作为补充。李航书的特点就是10个算法，每个推导，实例辅助，不拖泥带水，干货满满。西瓜书恰好弥补了李航书的不足，非常丰润，很多补充的小知识点。这篇是在整理李航书的boosting时补充其内容的。
1. 个体与集成
集成学习（ensemble learning）通过构建多个个体学习器并结合起来完成学习任务。
要获得好的集成，个体学习器应该“好而不同”，要有一定的“准确性”，即学习器不能太坏，并且要有多样性，之间具有差异。互为补充，才可提升效果。
集成学习研究核心：如何产生并结合个体学习器。
根据个体学习器的生成方式，集成学习大致分为两类：
{
个体学习器间有强依赖，必须串行生成的序列化方法
最低0.47元/天 解锁文章
扫一扫
383
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
