机器学习之Adaboost笔记

一、Adaboost的特性

• Adaboost对每一个样本分配权重，对每一轮的弱分类器也分配一个权重。
• Adaboost通过分类误差率来更新下一轮的样本权重，即提高被误分类的样本权重，并降低被正确分类的样本权重，使得没有被正确分类的样本在后一轮训练时获得更多的关注。
• 对基分类器分配权重，加大误差率较小的弱分类器权重，使其在表决中起较大的作用。

二、Adaboost算法

• 输入：训练数据集T = {(x₁, y₁), (x₂, y₂), (x₃,y₃),…(x_n，y_n)},其中xi ∈ X ⊆ Rⁿ, yi ∈ Y ∈ {-1, 1},
• 输出：最终分类器G(x)

(1)初始化训练集的权值分布:D1= {W₁₁,…,W_1I,…W_1n}, 其中W_1i = 1/N,i = 1, 2, …, N

(2)对于 m = 1,2…,M

• (一) 使用具有权值分布D_m的训练数据集进行学习，得到基本分类器
  G_m(x): X—>{-1, 1}
• (二) 计算G_m(x)在训练数据集上的分类误差率：