《统计学习方法》笔记——AdaBoost与向前分步算法公式推导

判决函数$G_m(x)$
$$\begin{gathered} 基本形式：f_M(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x) \\ 代价函数：Loss(y,f(x))=\sum _i^N\exp (-y_{i}f(x_i)) \end{gathered}$$

假定我们通过某种手段，通过m-1轮迭代计算得到$f_{m-1}(x)$使得$Loss(x,f_{m-1}(x))$最小
现准备通过第m轮迭代计算使得$Loss(x,f_m(x))$最小的$f_m(x)$

根据预测函数的基本形式可以得到如下递归形式：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
从而得到如下损失函数形式
L o s s ( y , f m ( x ) ) = ∑ i N exp ⁡ ( − y i f m ( x i ) ) = ∑ i N exp ⁡ { − y i [ f m − 1 ( x i ) + α m G m ( x i ) ] } Loss(y,f_m(x))=\sum_i^N\exp({-y_if_m(x_i)})=\sum_i^N\exp\{ {-y_i[f_{m-1}(x_i)+\alpha_mG_m(x_i)]}\} \\ Loss(y,fm​(x))=i∑N​exp(−yi​fm​(xi​))=i∑N​exp{ −yi​[fm−1​(xi​)+αm​Gm​(xi​)]}
接下来的目标就是计算使得$Loss(y,f_m(x))$最小的${\alpha }_m,G_m(x)$
$$({\alpha }_m,G_m(x))=\underset{{\alpha }_m,G_m(x)}{\mathrm{argmin}}Loss(y,f_m(x))$$
即
$$({\alpha }_m,G_m(x))=\underset{{\alpha }_m,G_m(x)}{\arg }$$