1,继承学习概述
对于训练集数据,通过训练若干个个体学习器,通过一定的结合策略,就可以最终形成一个强学习器。
2,集成学习之个体学习
种类:
同质的:强依赖性:(boosting)弱依赖性:(bagging,随机森林)
异质的:多个不同的学习器
3,集成学习之boosting(强依赖性)
Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1,根据弱学习的学习误差率表现来更新训练样本的权重,使得之前弱学习器1学习误差率高的训练样本点的权重变高,使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基本调整权重后的训练集来训练弱学习器2.,如此重复进行,直到弱学习器数达到事先指定的数目T,最终将这T个弱学习器通过集合策略进行整合,得到最终的强学习器。
4,集成学习之bagging
bagging的个体弱学习器的训练集是通过随机采样得到的。通过T次的随机采样,我们就可以得到T个采样集,对于这T个采样集,我们可以分别独立的训练出T个弱学习器,再对这T个弱学习器通过集合策略来得到最终的强学习器。(自助采样法)不放回采样
5,集成学习之结合策略
5.1、对于数值类的回归预测问题:平均法:
a,
H(x)=1T∑T1hi(x)
b,带权重:
obj:H(x)=∑Ti=1wihi(x)
restriction:wi>=0,∑Ti−1wi=1
5.2、对于分类问题的预测:投票法
a、相对多数投票法:即少数服从多数
b、绝对多数投票法:相对多数投票法 + 票数要求过半
c、加权投票法:每个弱学习器的分类票数都要乘以一个权重
5.3、stacking
将训练集弱学习器的学习结果作为输入,讲训练集的输出作为输出,重新训练一个学习期来得到最终结果