Ensemble Strategy详解（附Stacking集成算法详解）

Ensemble Strategy详解

第四次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的内容来自于《机器学习》和网上查阅到的资料，以及自己的一些见解。

---

这篇文章旨在综述集成策略，内容并不涉及到公式推导，因此，这里就不再分开进行相关数学推导的阐述了，下面直接进入主题。

学习器结合的优点

  1.统计的原因
  由于学习任务的假设空间往往很大，可能有多个假设在训练集上达到同等性能，此时若使用单学习器可能因误选而导致泛化性能不佳，结合多个学习器则会减小这一风险。
  2.计算的原因
  学习算法往往会陷入局部极小，有的局部极小点所对应的泛化性能可能很糟糕，而通过多次运行之后进行结合，可降低陷入糟糕局部极小点的风险。
  3.表示的原因
  某些学习任务的真实假设可能不在当前学习算法所考虑的假设空间中，此时若使用单学习器则肯定无效，而通过结合多个学习器，由于假设空间有所扩大，有可能学的更好的近似。

平均法

  对数值型输出$h_i\left(x\right)\in \mathbb{R}$，最常见的结合策略是平均法。
  1.简单平均法

  2.加权平均法

  其中${\omega }_i$是个体学习器$h_i$的权值，通常要求${\omega }_i>0,{\sum }_{i=1}^T{\omega }_i=1$，权重一般是从训练数据中学习而得的（e.g. 估计出个体学习器的误差，然后令权重大小与误差大小成反比），但是现实任务中的训练样本通常不充分或存在噪声，这将使得学出的权重不完全可靠。尤其是对规模比较大的集成来说，要学习的权重比较多，较容易导致过拟合。因此，在个体学习器性能差异较大时使用加权平均法，而在个体学习器性能相近时使用简单平均法。

投票法

  对分类任务来说，学习器