介绍
当你想购买一辆新车时,你会走到第一家汽车商店就根据经销商的建议购买一辆车吗?这是不太可能的。
你可能会浏览一些人们发布评论并比较不同车型的门户网站,检查其功能和价格。你也可能会问你的朋友和同事们的意见。总之,你不会直接得出结论,还会参考其他人的意见做出决定。
机器学习中的集成模型也是类似的思路。它们结合了多个模型的决策来提高整体性能。这可以通过各种方式实现,本文将会带你一起探索。
本文的目的是介绍集成学习的概念并理解使用这种技术的算法。为了巩固你对这个多元化主题的理解,我们将用真实问题的动手案例,配合Python来解释其中的高级算法。
注意:本文假定你对机器学习算法有基本的了解。我建议阅读这篇文章以熟悉这些概念。
目录
集成学习介绍
基础集成技术
最大投票(Max Voting)法
平均(Averaging)法
加权平均(Weighted Average)法
高级集成技术
堆叠(Stacking)
混合(Blending)
Bagging
提升(Boosting)
基于Bagging和Boosting的算法
Bagging meta-estimator
随机森林
AdaBoost
GBM
XGB
Light GBM
CatBoost
一、集成学习介绍
我们通过一个例子来理解集成学习的概念。假设你是一名电影导演,你依据一个非常重要且有趣的话题创作了一部短片。现在,你想在公开发布前获得影片的初步反馈(评级)。有哪些可行的方法呢?
A:可以请一位朋友为电影打分。
于是完全有可能出现这种结果:你所选择的人由于非常爱你,并且不希望给你这部糟糕的影片打1星评级来伤害你脆弱的小心脏。
B:另一种方法是让你的5位同事评价这部电影。
原文链接