机器学习多次修补后笔记 --集成学习--boosting--AdaBoost

AdaBoost

1、流程

• 第1行：D 代表样本集，Dt 代表第 t 轮的样本分布，不同的 Dt 中样本的权值不同
• 第3行：根据 Dt 分布在样本集 D 上用基学习算法 L 训练出基分类器 ht
• 第4行：第 t 个学习器的误差
• 第6行：由第 t 个学习器的误差来计算它在最后集成学习器中的权重
• 第7行：根据该-学习器的权重-来更新样本权值，形成新的样本权值分布D（t+1）

2、目标函数（第6、7行相关）

目标函数的意义在调节某些参数使学习器性能最好
一般的算法（参数驱动算法）都是用目标函数确定最合适的某参数
而对于AdaBoost来说，算法中有两部分目标函数，一个是个体学习器训练时自我调节的目标函数//另一个是在集成的串行生成学习器层面的目标函数（前者调节内部参数使个体学习器生成//后者是是集成过程拥有好的函数，如六七行的两个过程函数）

最终集成的学习器࿱