随机森林，Boosting

AdaBoost

一：定义
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。

二：原理解释
Adaboost一般使用单层决策树作为其弱分类器，即只能选择其中一维特征来做决策，在单层决策树计算误差时，Adaboost要求其乘上权重，即计算带权重的误差。

提升树

一：定义
提升树是以决策树为弱分类器的提升方法，通常使用CART树。提升树被认为是统计学习中性能最好的方法之一。

二：原理解释
提升树方法实际采用：加法模型 + 前向分布算法 + CART树(基函数)。

Boosting

一：定义
提升方法（Boosting），是一种可以用来减小监督式学习中偏差的机器学习算法。面对的问题是迈可·肯斯（Michael Kearns）提出的：一组“弱学习者”的集合能否生成一个“强学习者”？弱学习者一般是指一个分类器，它的结果只比随机分类好一点点；强学习者指分类器的结果非常接近真值。

其中AdaBoost是第一个成功的Boosting算法。

RF随机森林

一：定义
RF随机森林是一种一决策树为基学习器的Bagging算法,但是不同之处在于RF决策树的训练过程中还加入了随机属性选择

二：原理
通过对训练数据样本以及属性进行有放回的抽样
1.每次都是有放回的采样，有些样本是重复的，组成和原始数据集样本个数一样的数据集；
2.不放回的抽样，抽取出大约60%的训练信息。
由此生成一颗CART树，剩下的样本信息用来当作验证集误差测试模型；把抽取出的样本信息再放回到原数据集中，再重新抽取一组训练信息，再以此训练数据集生成一颗CART树。以此类推，并且他们的生成都是通过随机采样的训练数据生成，因此叫随机森林