个体与集成
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也称为多分类器系统，基于委员会的学习等。
集成学习先产生一组“个体学习器”，再用某种策略将他们结合起来。个体学习器通常由一个现有的学习算法从训练数据中产生。例如，决策树算法，bp神经网络。“神经网络集成”中全是神经网络，这样的集成就是“同质”的，同质集成中的个体学习器亦称为“基学习器”，相应的算法叫做“基学习算法”。集成中也可包含不同类型的个体学习器，这样的集成是“异质”的
关于集成的个体学习器：首先要求他是好的，即要求他的准确率是小于50%
再者要求他们分类器是不同的，具有差异性的
集成个体学习器的收敛性保证
两个基本结论：收敛速率随着个体学习器数量T呈指数上升
准确率为0.5的个体集成器对收敛没有作用
adaboost算法
学习T个个体学习器ht和相应的权重，使他们的加权和
H
(
x
)
=
∑
i
=
1
T
α
t
h
t
(
x
)
H(x)=\displaystyle\sum_{i=1}^T\alpha_th_t(x)
H(x)=i=1∑Tαtht(x)
能够最小化损失函数
前向分布求解算法
每一轮只学习一个学习器ht和相应的权重，那第t轮的优化目标
3620
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
