人工智能/机器学习基础知识——模型融合（Ensemble）

Ensemble

好文

机器之心

模型融合

Bagging

Bagging

• Bagging通常考虑的是同质弱学习器，相互独立地并行学习这些弱学习器，并按照某种确定性地平均过程将它们组合起来

• Bagging的弱学习器一般选择低偏置高方差的模型，最后获得一个低方差的模型，缓解过拟合

• 代表模型：随机森林（Random Forest）

Voting（Classification）

Voting就是引入多个模型对同一个分类目标（标签）进行决策

• 例如，现有一个多标签分类的问题，单个样本输入，多个标签输出。判断是否为某标签的方法是该标签对应的概率值是否大于0.5。

• 引入Voting之后，假设有3个独立相关性低的模型进行Voting。对于一个样本的某一个标签有无的判断是：若三个模型对于该标签的预测值大于0.5有2个或2个以上，那么就认为该标签有。

Avergae（Regression）

对多个模型的输出结果进行简单的加和取平均，通常用于回归任务

Boosting

Boosting

• Boosting通常考虑的也是同质弱学习器。它以一种高度自适应的方法顺序地学习这些弱学习器（每个基础模型都依赖于前面的模型），并按照某种确定性的策略将它们组合起来

• Boosting的弱学习器一般选择高偏置低方差的模型，最后获得一个低偏置的模型，增强模型拟合程度

• 代表模型：梯度提升树（Gradient Boosting Tree）、AdaBoost

Stacking & Blending

CSDN

Stacking & Blending

• Stacking & Blending通常考虑的是异质弱学习器，并行地学习它们，并通过训练一个元模型将它们组合起来，根据不同弱模型的预测结果输出一个最终的预测结果

• 具体做法：

  • 将训练集划分为两组
  • 选择L个弱学习器，用它们拟合第一组数据
  • 用训练好的L个学习器中的每个学习器对第二组数据进行预测
  • 用L个弱学习器对第二组数据的预测输出作为元模型的输入，在第二组数据上拟合元模型
  • 上述为Blending的做法，加上K-Fold Cross Validation之后就是Stacking

• 代表模型：None

Bias & Variance Tradeoff

偏置与方差的权衡

• Bias：模型的准确度，可理解为模型预测的某个值与真实值之间的量化差距。偏置越高代表模型越欠拟合，偏置越低代表模型拟合地越好

• Variance：模型的拟合能力，可理解为模型在训练集上拟合得很好，但在其他数据集上拟合得比较差。方差越高代表模型越过拟合，方差越小代表模型抗过拟合能力越强