AdaBoost二分类

AdaBoost二分类

AdaBoost算法是一个加性模型
$$F(x)=\sum _{m=1}^M{\alpha }_m{f}_m(x)\text{\hspace{1em}(1)}$$
其中$f_m(x)$称为弱分类器或基分类器，${\alpha }_m$为弱分类器的集成权重，$F(x)$称为强分类器。

AdaBoost采用迭代式的训练方法。假设已经训练了$m$个弱分类器，在训练第$m+1$个弱分类器时，增加已有弱分类器分错样本的权重，使得第$m+1$个弱分类器更关注已有弱分类器分错的样本，因此AdaBoost是通过改变数据的分布来提高弱分类器的差异。

二分类时，其损失函数定义为
$$\begin{array}{rl}\mathcal{L}(F)& =\text{exp}(-yF(x))\\ & =\text{exp}(-y\sum _{m=1}^M{\alpha }_m{f}_m(x))\end{array}\text{\hspace{1em}(2)}$$
其中$y$， f m ( x ) ∈ { + 1 , − 1 } f_m(x)\in\{+1, -1\} fm​(x)∈{+1,−1}。

假设经过$m-1$次迭代，得到
$$F_{m-1}(x)=\sum _{t-1}^m{\alpha }_t{f}_t(x)\text{\hspace{1em}(3)}$$
第$m$次迭代是找到一个${\alpha }_m$和$f_m(x)$使得下面的损失函数最小
$$\mathcal{L}({\alpha }_m,f_m(x))=\sum _{n=1}^N\text{exp}(-y^{(n)}(F_{m-1}(x^{(n)})+{\alpha }_m{f}_m(x^{(n)})))\text{\hspace{1em}(4)}$$
令$w_m^{(n)}=\text{exp}(-y^{(n)}(F_{m-1}(x^{(n)}))$表示$x^{(n)}$在第$m$次迭代时的样本权重，损失函数可以写为
$$\mathcal{L}({\alpha }_m,f_m(x))=\sum _{n=1}^N{w}_m^{(n)}\text{exp}(-{\alpha }_m{y}^{(n)}{f}_m(x^{(n)}))\text{\hspace{1em}(5)}$$
将上式在$-{\alpha }_m{y}^{(n)}{f}_m(x^{(n)})$处二阶泰勒展开，有
$$\mathcal{L}({\alpha }_m,f_m(x))=\sum _{n=1}^N{w}_m^{(n)}(1-{\alpha }_m{y}^{(n)}{f}_m(x^{(n)})+\frac{1}{2}{\alpha }_m^2)\text{\hspace{1em}(6)}$$
首先求解弱分类器$f_m(x)$，有
$$\begin{array}{rl}\mathcal{L}({\alpha }_m,f_m(x))& \propto -{\alpha }_m\sum _{n=1}^N{w}_m^{(n)}{y}^{(n)}{f}_m(x^{(n)})\\ & \propto -{\alpha }_m\sum _{n=1}^N{w}_m^{(n)}(1-2\text{I}(y^{(n)}\ne f_m(x^{(n)}))\\ & \propto {\alpha }_m\sum _{n=1}^N{w}_m^{(n)}\text{I}(y^{(n)}\ne f_m(x^{(n)}))\end{array}\text{\hspace{1em}(7)}$$
当${\alpha }_m>0$，最优的分类器$f_m(x)$是使得在样本权重为$w_m^{(n)}$时加权错误率最小的分类器，可以使用基学习器求得。

得到$f_m(x)$后，公式$(5)$可以改写为
$$\mathcal{L}({\alpha }_m,f_m(x))=\sum _{y^{(n)}=f_m(x^{(n)})}{w}_m^{(n)}\text{exp}(-{\alpha }_m)+\sum _{y^{(n)}\ne f_m(x^{(n)})}{w}_m^{(n)}\text{exp}({\alpha }_m)\text{\hspace{1em}(8)}$$
令
$${ϵ}_m=\frac{{\sum }_{y^{(n)}\ne f_m(x^{(n)})}{w}_m^{(n)}}{{\sum }_{n=1}^N{w}_m^{(n)}}\text{\hspace{1em}(9)}$$
表示$f_m(x)$的加权错误率，则公式$(8)$可以改写为
$$\mathcal{L}({\alpha }_m,f_m(x))\propto (1-{ϵ}_m)\text{exp}(-{\alpha }_m)+{ϵ}_m\text{exp}({\alpha }_m)\text{\hspace{1em}(10)}$$
令上式关于${\alpha }_m$的导数为0，得到
$${\alpha }_m=\frac{1}{2}\text{log}\frac{1-{ϵ}_m}{{ϵ}_m}\text{\hspace{1em}(11)}$$
AdaBoost的二分类算法总结如下