机器学习算法

1、Bootstrap

Bootstrap Method:在统计学中，Bootstrap从原始数据中抽取子集，然后分别求取各个子集的统计特征，最终将统计特征合并。

2、Bagging

Bagging(Bootstrap Aggregating)应用了 Bootstrap的思想，从Training Set抽取k次subset，分别用来训练k个单独的模型，然后用这k个模型来做预测。最终，如果是Regression问题，则Average k个模型的输出；如果是Classification问题，则进行Majority Vote。

3、Random Forest

Random Forest也是对Training Set进行k次随机抽样、种树、再求取平均（Majority Vote）。Decision Tree在每次分割时，会考虑所有的feature，然后选择最佳分割点；Random Forest为了增加随机性，在分割时使用1/3*D( regression), sqrt(D)(classification)的features来做选择，由此也减少了属于树之间的关联性。**

所以说，Bagged Decision Tree只有一个参数，那就是树的数量；而Random Forest却有两个参数：树的数量，以及分割时feature的数量。

6. GBDT

GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。

6.5.1 Boosting思想

Boosting方法训练基分类器时
1.采用串行的方式，
2.各个基分类器之间有依赖。
它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。

Bagging与Boosting的串行训练方式不同，Bagging方法在训练过程中，
1.各基分类器之间无强依赖，
2.可以进行并行训练。

6.5.2 GBDT原来是这么回事

GBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了，它里面的弱分类器的表现形式就是各棵树。
GBDT需要将多棵树的得分累加得到最终的预测得分，且每一次迭代，都在现有树的基础上，增加一棵树去拟合前面树的预测结果与真实值之间的残差。

6.2. 梯度提升和梯度下降的区别和联系是什么？

同:两者都是在每 一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更 新
异:
梯度提升：梯度提升中，模型并不需要进行参数化表示，而是直接定义在函 数空间中，从而大大扩展了可以使用的模型种类
梯度下降：梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参 数的更新

6.3. GBDT的优点和局限性有哪些？

6.3.1 优点

1. 预测阶段的计算速度快，树与树之间可并行化计算。
2. 在分布稠密的数据集上，泛化能力和表达能力都很好，这使得GBDT在Kaggle的众多竞赛中，经常名列榜首。
3. 采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系，并且也不需要对数据进行特殊的预处理如归一化等。

6.3.2 局限性

1. GBDT在高维稀疏的数据集上，表现不如支持向量机或者神经网络。
2. GBDT在处理文本分类特征问题上，相对其他模型的优势不如它在处理数值特征时明显。
3. 训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度。

6.4. RF(随机森林)与GBDT之间的区别与联系

相同点：

都是由多棵树组成，最终的结果都是由多棵树一起决定。

不同点：

• 组成随机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成
• 组成随机森林的树可以并行生成，而GBDT是串行生成
• 随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和
• 随机森林对异常值不敏