机器学习算法系列（五）：bagging与随机森林对比及随机森林模型参数介绍

Bagging思想

bagging是一种集成模型的思想。其名称来源于“bootstrap aggregating"。这种方法是用来解决模型的过拟合问题。

首先说一下bootstrap方法，中文名称叫做”自助采样法“，是一种有放回的采样方法。比如说样本空间有m个样本，当通过bootstrap方法采样时，我们有放回的采样m次，得到m个样本（其中有重复）。

bagging思想就是以自助采样法为基础进行的。主要流程如下：

从训练集中利用bootstrap的方法采样T次，得到T个样本集，然后分别用不同的模型进行训练，得到T个学习器。接下来，分别使用这T个学习器对测试集进行预测，得到T组结果。针对分类问题，则采用投票的方式，得到最终的预测结果。对于回归问题，则求T组预测结果的算术平均。

RandomForest（随机森林）模型

随机森林模型是一种基于树模型的bagging的优化版本。

随机性

随机森林的随机性主要体现在两个方面：

**数据集的随机选取：**从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。

为什么要选择有放回的采样方式？