DataWhale集成学习笔记-task05

最新推荐文章于 2024-09-11 10:01:43 发布

zaprily

最新推荐文章于 2024-09-11 10:01:43 发布

阅读量161

点赞数

分类专栏：实验记录学习打卡文章标签： sklearn 机器学习 python

本文链接：https://blog.csdn.net/zaprily/article/details/119924324

版权

实验记录同时被 2 个专栏收录

12 篇文章 1 订阅

订阅专栏

学习打卡

10 篇文章 0 订阅

订阅专栏

本文介绍了模型融合的概念，包括投票法、Bagging和随机森林。投票法通过结合多个模型的预测结果提高模型稳定性，分为硬投票和软投票。Bagging利用自助采样创建多样性的子样本集训练基模型，减少方差。随机森林是Bagging的一种特例，结合特征采样。文章讨论了这些方法的优势、应用场景及如何在sklearn中实现，并强调了模型差异性和同质性的重要性。

摘要由CSDN通过智能技术生成

模型融合：模型融合就是训练多个模型，然后按照一定的方法集成过个模型，应为它容易理解、实现也简单，同时效果也很好，在工业界的很多应用，在天池、kaggle比赛中也经常拿来做模型集成。

集成学习：Bagging：bootStrap
boosting: 叠加式
stacking ：模型之间存在前后的关系，模型1的特征训练出给模型2进行训练

投票法

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。
投票法在回归模型与分类模型上均可使用：

回归投票法：预测结果是所有模型预测结果的平均值。
分类投票法：预测结果是所有模型种出现最多的预测结果。

分类投票法又可以被划分为硬投票与软投票：

硬投票：预测结果是所有投票结果最多出现的类。
软投票：预测结果是所有投票结果中概率加和最大的类。

在实际应用上，想要投票法产生较好的结果，需要满足两个条件：

基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。
当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。
投票法的局限性在于，它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。

投票法的案例分析(基于sklearn，介绍pipe管道的使用以及voting的使用)

Sklearn中提供了 VotingRegressor 与 VotingClassifier 两个投票方法。这两种模型的操作方式相同，并采用相同的参数。使用模型需要提供一个模型列表，列表中每个模型采用Tuple的结构表示，第一个元素代表名称，第二个元素代表模型，需要保证每个模型必须拥有唯一的名称。
实例可见 task05.ipynb

bootStrap

随机森林：bagging+特征采样

通过 bootStrap(自助法)的思路如下：

假设一个总体服从正态分布 $x\thicksim N(\mu,\sigma^{2})$ 需要估计 $\mu$ 和 $\sigma$ ,从数据集中抽了10次样，每次抽样抽了100随机变量 $x_i$ , $(i = 1, 2, . . ., 100)$ ,得到的 $\bar{X_j}$ , $(j = 1, 2, . . ., 10)$
对于 $\bar{X_j}$ 服从 $N(\mu,\sigma^{2}/n)$ ,也就是说
$\frac{1}{n}\displaystyle\sum_{j=1}^n(\bar{X_j})=E(\bar{X})=\frac{1}{n}\displaystyle\sum_{j=1}^n\frac{1}{m}\displaystyle\sum_{i=1}^m(x_i)=E(X)=\mu$ 可见，可以根据 $\frac{1}{n}\displaystyle\sum_{j=1}^n(\bar{X_j})$ 推断 $\mu$ 的值。
$VAR(\bar{X})=E(\bar{X_j}-E(\bar{X}))^2= \sigma^2/n$ 可见，可以根据 $VAR(\bar{X})$ 推断 $\sigma$ 的值。

bagging的思路

与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往往是同质的，因此一个简单的思路是通过不同的采样增加模型的差异性。
Bagging的核心在于自助采样(bootstrap)这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。一个自助采样的小例子是我们希望估计全国所有人口年龄的平均值，那么我们可以在全国所有人口中随机抽取不同的集合（这些集合可能存在交集），计算每个集合的平均值，然后将所有平均值的均值作为估计值。

首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。同样的方法，我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。

对回归问题的预测是通过预测取平均值来进行的。对于分类问题的预测是通过对预测取多数票预测来进行的。Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。

Bagging同样是一种降低方差的技术，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging技术对高维小样本往往有神奇的效果。