本文探讨了集成学习中的bagging和boosting，解释了它们的区别和作用。bagging通过投票或平均降低方差，防止过拟合，而boosting通过迭代和加权减少偏差，缓解欠拟合。随机森林作为bagging的代表，通过随机采样和特征选择增强多样性，避免过拟合。Adaboost则通过自适应调整样本权重，聚焦弱分类器的优势，有效降低训练误差。
集成学习：
集成学习(Ensemble Learning)通过构建并结合多个基学习器来完成学习任务
bagging和boosting的区别：
Bagging主要用于提高泛化性能（解决过拟合，也可以说降低方差）
Boosting主要用于提高训练精度 （解决欠拟合，也可以说降低偏差）
bagging：分类问题采用投票的方式，回归问题采用平均值的方式。
bagging的缺点：其性能依赖于基分类器的稳定性；如果基分类器不稳定，bagging有助于降低训练数据的随机波动导致的误差；如果稳定，则集成分类器的误差主要由基分类器的偏倚引起
bagging如何降低方差（过拟合）的，boosting是如何降低偏差（欠拟合）的？
Bagging是Bootstrap Aggregating 的简称，意思就是再取样 (Bootstrap) 然后在每个样本上训练出来的模型取平均，所以是降低模型的variance. Bagging 比如Random Forest 这种先天并行的算法都有这个效果。
Boosting 则是迭代算法，每一次迭代都根据上一次迭代的预测结果对样本进行加权，所以随着迭代不断进行，误差会越来越小ÿ
最低0.47元/天 解锁文章
扫一扫
3955
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
