Bagging思想
bagging是一种集成模型的思想。其名称来源于“bootstrap aggregating"。这种方法是用来解决模型的过拟合问题。
首先说一下bootstrap方法,中文名称叫做”自助采样法“,是一种有放回的采样方法。比如说样本空间有m个样本,当通过bootstrap方法采样时,我们有放回的采样m次,得到m个样本(其中有重复)。
bagging思想就是以自助采样法为基础进行的。主要流程如下:
从训练集中利用bootstrap的方法采样T次,得到T个样本集,然后分别用不同的模型进行训练,得到T个学习器。接下来,分别使用这T个学习器对测试集进行预测,得到T组结果。针对分类问题,则采用投票的方式,得到最终的预测结果。对于回归问题,则求T组预测结果的算术平均。
RandomForest(随机森林)模型
随机森林模型是一种基于树模型的bagging的优化版本。
随机性
随机森林的随机性主要体现在两个方面:
**数据集的随机选取:**从原始的数据集中采取有放回的抽样,构造子数据集,子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复,同一个子数据集中的元素也可以重复。
为什么要选择有放回的采样方式?