2021-07-22

最新推荐文章于 2024-09-15 22:31:42 发布

清水湾的水

最新推荐文章于 2024-09-15 22:31:42 发布

阅读量122

点赞数

分类专栏：集成学习文章标签： python

本文链接：https://blog.csdn.net/cezyzhao/article/details/119009883

版权

集成学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

集成学习 5

文章目录

集成学习 5

1. 什么是bootstraps

Bootstrap又称自展法，是用小样本估计总体值的一种非参数方法，在进化和生态学研究中应用十分广泛。例如进化树分化节点的自展支持率等。

Bootstrap的思想，是生成一系列bootstrap伪样本，每个样本是初始数据有放回抽样。通过对伪样本的计算，获得统计量的分布。例如，要进行1000次bootstrap，求平均值的置信区间，可以对每个伪样本计算平均值。这样就获得了1000个平均值。对着1000个平均值的分位数进行计算，即可获得置信区间。已经证明，在初始样本足够大的情况下，bootstrap抽样能够无偏得接近总体的分布。

2. bootstraps与bagging的联系

Bootstrap Method:在统计学中，Bootstrap从原始数据中抽取子集，然后分别求取各个子集的统计特征，最终将统计特征合并。

Bagging(Bootstrap Aggregating):应用了 Bootstrap的思想，从Training Set抽取k次subset，分别用来训练k个单独的模型，然后用这k个模型来做预测。最终，如果是Regression问题，则Average k个模型的输出；如果是Classification问题，则进行Majority Vote。

3. 随机森林与bagging的联系与区别

bagging method 的思想：假设一个数据集L，通过Boostrap(自助抽样)有放回的抽样n次，那么产生了n个样本数据集，记为n个train集。
第一步：我们将这n个train集进行训练，因此产生了n个基分类器，也可以说是n个决策树
第二步：利用这n个基分类器对测试集进行预测，因此会得到n个结果。
第三步：采取多数投票（majorty vote）:将n个预测的结果出现频率最高的类作为总体预测。

随机森林是对装袋法的一种改进，随机森林也需要对自助抽样训练集建立一系列的决策树，这和决策树类似。不过，随机森林在建立树的时候，不和装袋法一样，装袋法建树的时候是将所有预测变量都考虑进去，而随机森林则是考虑每一个分裂点时，都是从所有的预测变量p中随机选取m个预测变量，分裂点所用的预测变量只能从这m个变量中选择。在每个分裂点处都重新进行抽样，选出m个预测变量，随机森林在采样时不仅“重采样”，而且只选了部分的“列”（特征）。