机器学习（八）——集成学习笔记

前言

看了好久书了，该总结一下了。如果有理解不到位的地方，欢迎批评。

链接更新机器学习（八）——集成学习 - 柯尔特 - 博客园

摘要

1 个体与集成

集成学习通过结合多个学习器来完成学习任务，他的一般结构是：先产生一组“个体学习器”，再用某种策略结合起来。
“个体学习器”通常由现有算法（如决策树算法、BP神经网络算法等）产生。一组“个体学习器”是相同类型的，称其为同质集成（homogeneous）,类型不同称其为异质集成。
同质集成的个体学习器称基学习器(base learner)，通常称为组件学习器(component learner),相应的学习算法叫基学习算法(base learning algorithm)。异质集成没有基学习算法。

集成学习对弱学习器（泛化能力略优于随机猜测的学习器）效果明显。假设基学习器错误率相互独立，随着基学习器的数量的增加，集成学习器的错误率指数级下降，最终趋于0。但是，这个假设在实际很难成立，集成学习研究的核心就是“如何产生并结合好而不同的个体学习器”。

根据组件学习器的生成方式，集成学习大致可以分为两类：

（1）个体学习器存在强依赖关系、必须创新生成的序列化方法；

代表算法：Boosting

（2）个体学习器不存在强依赖关系、可同时生成的并行化方法；

代表算法：Bagging和Random Forest

2 Boosting

Boosting工作机制：先从初始训练集训练出来一个基学习器，然后将调整后的样本分布训练下一个基学习器，重复进行直到达到设定值T，最终得到T个基学习器。

Adaboost有多种推导方式，是Boosting算法里最出名的一个了。比如：加性模型推到方式(additive model），则将基学习器线性组合

来最小化指数损失函数

假设H(x)能令指数损失函数最小化，用损失函数对H(x)求偏导，

令其等于0，解得

因此，有

sign(H(x))说明了：达到贝叶斯最优错误率，若指数损失函数最小化，则分类错误率也最小化，这说明指数损失函数是原分类任务损失函数一致的替代损失函数。指数损失函数连续可微，因此用它替代0/1损失函数作为优化目标。

Adabost算法的描述如下：

在Adaboost算法中，h1由初始数据产生，迭代产生ht和αt。基分类器ht基于分布Dt

权重更新公式

3 Bagging与随机森林

3.1 Bagging
3.2 随机森林

4 结合策略

4.1 平均法
4.2 投票法
4.3 学习法

5 多样性

5.1 误差-分歧分解
5.2 多样性度量
5.3 多样性增强

5.3.1 数据样本扰动
5.3.2 输入属性扰动
5.3.3 输出表示扰动
5.3.4 算法参数扰动