集成学习知识总结

概念：

通过构建并结合多个学习器完成学习任务，又叫做多分类器系统（multi-classifier system）、基于委员会的学习（commitee-based learning）等，简而言之，就是集合多个弱学习器构成一个强学习器。
对于二分类问题，使用投票法确定分类结果，公式为：
$$H(x)=sign(\sum _{i=1}^T{h}_i(x)))$$
$h_i$表示i种分类器，sign()是符号函数，如果有超过半数的弱分类器正确则集成分类器就正确。
根据弱分类器的生成方式，目前的集成学习方法大致可以分为两大类，个体学习器有强依赖关系、序列化生成的串行化方法，如：AdaBoost；不存在强依赖关系、同时生成的并行化方法，如：Bagging和’‘随机森林’'

AdaBoost：

 **概念：**初始训练一个基(弱)学习器，再根据基学习器的表现对样本分布进行调整，使得先前基学习器分错的训练样本在后续得到更多关注，不断迭代，直到基学习器数目 到达指定的T个，最后将所有T个基学习器进行加权结合得到一个强学习器，就是Boosting方法。它有很多变种，本文就不一一讨论了，比较常用的是AdaBoost，基于’加性模型‘，即基学习器的线性组合形式。公式如下：
$$H(x)=\sum _{t=1}^T{\alpha }_t{h}_t(x)$$

 代码流程为：样本集$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，迭代次数为T。
1、初始化训练样本权重为一样的，另外需要初始化错误率：${ϵ}_t$=1/m。${ϵ}_t$在0-1之间，
2、在第t步时，选择可以最小化当前错误率$ϵ$的弱分类器，并添加这个若分类器以降低错误率，计算${\alpha }_t$，${\alpha }_t=\frac{1}{2}log(\frac{1-{ϵ}_t}{{ϵ}_t})$，定义新的弱分类器为$f^t(x)={\alpha }_t{h}^t(x)$，
3、计算新的数据样本权重，$w_i^{t+1}$计算公式如下：
$$w_i^{t+1}=\frac{w_i^t}{Z}{e}^{-{\alpha }^t{h}^t(x_i)y_i}$$
又对于二分类$h^t(x_i)$和yi分别可取{-1，1}，则：
$$w_i^{t+1}=\{\begin{array}{c}\frac{1}{Z}{w}_i^t{e}^{-{\alpha }^t},y_i=h^t(x_i)):classTrue\\ \frac{1}{Z}{w}_i^t{e}^{{\alpha }^t},y_i\ne h^t(x_i)):classFalse\end{array}$$
由公式可知，当t轮分类正确，t+1轮时$w_i^{t+1}$减小；当t轮分类错误，则下一个权重$w_i^{t+1}$增加，这是符合逻辑的，被错误分类的实例，在下一个分类器应当受到重视！
Z是归一化因子，使得每一轮训练，前面的弱分类器分错的样本权重与分队的样本权重都占总样本权重的1/2。
4、回到2，不断训练，直到收敛。
5、得到的模型为：$H(x)=sign({\sum }_{t=1}^T{\alpha }^t{h}^t(x))$

AdaBoost的特点：
1、易于使用，调参少
2、弱分类器可以使任何模型，如逻辑回归、线性回归、决策树等
3、对数据敏感，容易过拟合。可以调整学习率、交叉验证等
4、用来做特征选择。
【注】对强分类器输出结果去sign，实际分类中可以找一个阈值或边界！

代码解读：

后续添加

Bagging和随机森林：

Bagging:

 概念：并行式集成学习的常用方法，给定包含m个样本的数据集，采用’随机采样‘的方式，就是有放回的每次从训练集中采集固定个数的样本，也就是有的样本被多次采集而有的从未被采集。采样出T个含m个训练样本的采样集，基于每个采样集训练一个基(弱)学习器，在将这些基学习器组合构成强学习器，就是Bagging方法。
【注】对于一个样本，它在某一次训练集的随机采样中，被采集到的概率是$\frac{1}{m}$。不被采集到的概率为$1-\frac{1}{m}$。如果m次采样都没有被采集中的概率是${(1-\frac{1}{m})}^m$。当$m\to \infty$时，${(1-\frac{1}{m})}^m\to \frac{1}{e}\simeq 0.368$。也就是说，在bagging的每轮随机采样中，训练集中大约有36.8%的数据没有被采样集采集中。这部分被叫着袋外数据(Out Of Bag）。

 伪代码流程：
样本集$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，迭代次数为T

1. 对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集$D_t$，
2. 用采样集$D_t$训练第t个弱学习器$h_t(x)$
3. T=1,2…m，迭代T次得到T个弱学习器组成一个强学习器。
   【注】如果是分类算法预测，投票法：T个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，平均法：T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

Bagging的特点：

1. 和Adaboost一样，对于弱学习器没有限制。从偏差-方差分解角度来看，Bagging关注降低方差，因此其在决策树、神经网络等易受样本扰动的学习器上效果更为明显。
2. 由于Bagging算法每次都进行’随机采样‘来训练模型，因此泛化能力很强，利于降低模型的方差。当然对于训练集的拟合程度就会差一些，也就是模型的偏差会大一些。

代码解读：

后续添加

随机森林(Random Forest)：

 概念：改进版的Bagging。思想上和训练过程和Bagging是一样的，做了一些改进，1）RF使用了CART决策树作为弱学习器；2）对决策树的建立做了改进，传统的决策树在选择划分属性(假设d个)时是在当前结点的属性集合中选择一个最优属性；而在RF中，先从该结点的属性集合中随机选择一个包含k个属性的子集，再从这个子集中选择最优属性来划分，就是随机森林的基本流程。
【注】：k控制了随机性的引入程度，k=d时，决策树构建方法与传统决策树相同，而当k=1时，则是随机选择一个属性进行划分。一般去k=$lo{g}_{2}d$。

 算法流程：
同Bagging

RF的特点：

1. 简单、易于实现、计算量小。
2. k越小，模型越健壮，但对于数据集的拟合程度就会越差。即k越小，模型方差越小，变差越大。可通过交叉验证选择一个合适的k值。
3. 随机性的考察属性子集使得RF的泛化能力很强。

策略介绍：

先假定集成学习包含T个基学习器{$h_1,h_2,...,h_T$}，其中$h_1$在示例x上的输出为$h_i(x)$。

平均法：

1、简单平均法：
$$H(x)=\frac{1}{T}\sum _{i=1}^T{h}_i(x)$$
2、加权平均法：
$$H(x)=\sum _{i=1}^T{w}_i{h}_i(x)$$
其中：${\sum }_{i=1}^T{w}_i=1$。

投票法：

1、绝对多数投票法：
$$H(x)=\{\begin{array}{cc}{c}_j& if{\sum }_{i=1}^T{h}_i^j(x)>\frac{1}{2}{\sum }_{k=1}^N{\sum }_{i=1}^T{h}_i^k(x);\\ reject& otherwise.\end{array}$$
即某标记投票过半数，则预测为该label，否则拒绝预测。
2、相对多数投票法：
$$H(x)=c_{\underset{j}{\mathrm{argmax}}{\sum }_{i=1}^T{h}_i^j(x)}$$
即预测为得票最多的label，弱同时有多个label获最高票，则随机选择一个。
3、加权投票法：
$$H(x)=c_{\underset{j}{\mathrm{argmax}}{\sum }_{i=1}^T{w}_i{h}_i^j(x)}$$
$w_i$是$h_i$的权重，且${\sum }_{i=1}^T{w}_i=1$。

以上都是比较常用的方法！还有一些其他的学习策略，不一一介绍了，基本上是一些变种或者结合形式的，有兴趣再看。

待续…