1.1集成学习——adaboost

问题：
1，如何计算误差率e；
2，如何得到弱学习器权重系数a；
3，如何更新样本权重D；
4，使用何种结合策略；

一，adaboost算法的基本思路
训练集样本：

$$\begin{eqnarray*} T = {(x_1,y_1),(x_2,y_2)....(x_m,y_m)} \end{eqnarray*}$$
训练集的第k个弱学习器的输出权重
$$\begin{eqnarray*} D(k) = (w_{k1},w_{k2},...w_{km}); \end{eqnarray*}$$
初始化权重：
$$\begin{eqnarray*} w_{1i} = \frac{1}{m}；i = 1,2,3...,m \end{eqnarray*}$$
分类问题
损失函数：
$\underbrace{arg min}_{a,G} \sum^m_i exp(-y_if_k(x))$
假设：二分类问题，输出为{1,-1}
第一个问题
第k个弱分类器 $G_k(x)$在训练机上的加权误差率为：
$$\begin{eqnarray*} e_k = P(G_k(x_i)\neq y_i) = \sum_{i=1}^mw_{ki}I(G_k(x_i) \neq y_i) \end{eqnarray*}$$
第二个问题
第k个弱分类器 $G_k(x)$的权重系数：
$$\begin{eqnarray*} a_k = \frac{1}{2}log\frac{1-e_k}{e_k} \end{eqnarray*}$$
$e_k$越大，权重系数 $a_k$越小，s.t.误差率小的弱分类器权重系数大
第三个问题
跟新样本权重D
$$\begin{eqnarray*} w_{k+1,i} = \frac{w_{ki}}{Z_{K}}exp(-a_k y_k G_k(x_i)) \end{eqnarray*}$$
其中 $Z_k$为正则化因子 $Z_k = \sum_{i = 1}^{m}exp(-a_k y_k G_k(x_i)).$
当分类错误时， $y_k G_k(x_i) < 0$,使得 $w_{k+1,i}$增大，这符合我们的预期，将分类错误的样本的在下一个分类器中的权重增加
第四个问题
加权平均法：
$$\begin{eqnarray*} f(x) = sign(\sum_{k=1}^K a_k G_k(x)) \end{eqnarray*}$$
回归问题
第一个问题
对于第k个弱学习器，计算在训练集上的最大误差：
$$\begin{eqnarray*} E_k = max|y_i - G_k(x_i)|; i = 1,2,3...m \end{eqnarray*}$$
相对误差：
a,线性误差： $e_{ki} = \frac{|y_i - G_k(x_i)|}{E_k}$
b,平方误差： $e_{ki} = \frac{(y_i - G_k(x_i))^2}{E_k^2}$
c,指数误差： $e_{ki} =1 - exp \frac{(y_i - G_k(x_i))}{E_k}$
=> $e_k = \sum_{i=1}^mw_{ki}e_{ki}$
第二个问题
弱学习器的权重系数 $a_k$:
$$\begin{eqnarray*} a_k = \frac{e_k}{1-e_k} \end{eqnarray*}$$
第三个问题
跟新样本权重D
$$\begin{eqnarray*} w_{k+1,i} = \frac{w_{ki}}{Z_{K}}a_k^{1-e_{ki}} \end{eqnarray*}$$
其中 $Z_k$为正则化因子 $Z_k = \sum_{i = 1}^{m}w_{ki}a_k^{1-e_ki}.$
第四个问题
加权平均法：
$$\begin{eqnarray*} f(x) = \sum_{k=1}^K (\frac{1}{a_k}) G_k(x) \end{eqnarray*}$$
加入正则项
原本弱学习器的迭代：
$f_k(x) = f_{k-1}(x) + a_kG_k(x)$
加入正则项后：
$f_k(x) = f_{k-1}(x) + v a_kG_k(x)$
优缺点：
1，作为分类器时，分类精度高
2，在adaboost的框架下，可以使用各种回归模型预测
3，作为简单的二元分类时，结果简单，可理解
缺点：
对异常样本敏感，异常样本可能在迭代中获得较高的权重，影响结果