Coursera - 机器学习技法 - 课程笔记 - Week 7

Blending and Bagging

Motivation of Aggregation

• 集成模型：混合或者组合多个假设的结果得到最后的结果
  • Validation：选择最佳（最小验证误差）假设进行预测$G(\mathbf{x})=g_{t_{\ast }}(\mathbf{x})$
  • 等权重叠加：$G(\mathbf{x})=\mathrm{sign}({\sum }_{t=1}^T)1\cdot g_t(\mathbf{x})$
  • 不等权重叠加：$G(\mathbf{x})=\mathrm{sign}({\sum }_{t=1}^T){\alpha }_t\cdot g_t(\mathbf{x}),{\alpha }_t\ge 0$
    • 包含了前两种情形
  • 不同情境下组合不同假设的结果：$G(\mathbf{x})=\mathrm{sign}({\sum }_{t=1}^T)q_t(\mathbf{x})\cdot g_t(\mathbf{x}),q_t(\mathbf{x})\ge 0$
    • 包含了上述所有情形
• Validation Best：依赖强假设——如果只有一些弱假设能否胜任呢？
• 集成学习——更好的泛化性能
  • 多个简单假设集成复杂假设——特征转换？
  • 多个假设中得到一个比较合适的——正则化？

Uniform Blending

• 已知$g_t$，如何融合
• 均匀blending，每人一票，一票权值为1

$$G(\mathbf{x})=\mathrm{sign}\left(\sum _{t=1}^{T}1\cdot g_t(\mathbf{x})\right)$$

• 如果所有的$g_t$都一样：能力与单个$g_t$一样
• 如果$g_t$都各有不同：大多数可以纠正少数（可能导致犯错）
• 投票取最多数
• 对于回归任务：

$$G(\mathbf{x})=\frac{1}{T}\sum _{t=1}^T{g}_t(\mathbf{x})$$

• 如果所有的$g_t$都一样：能力与单个$g_t$一样
• 如果$g_t$都各有不同：
  • 存在高估和一部分低估情形
  • 综合得到平均值——更合适
• 多个假设的多样性很重要
• 理论回归误差分析：

$$\mathrm{avg}(E_{out}(g_t))=\mathrm{avg}(\mathcal{E}(g_t-G{)}^2)+E_{out}(G)\ge E_{out}(G)$$

• 产生弱假设算法的期望性能 = 对于共识的期望差距（方差） + 共识的性能（偏差）
• blending：消除方差，得到稳定的性能

Linear Blending

• 已知$g_t$，如何融合

$$G(\mathbf{x})=\mathrm{sign}\left(\sum _{t=1}^T{\alpha }_t\cdot g_t(\mathbf{x})\right),{\alpha }_t\ge 0$$

• 计得到好的${\alpha }_t$：${\min }_{{\alpha }_t\ge 0}{E}_{in}(\alpha )$
• linear blending = linear model + hypotheses as transform + weight constraints
• 实际上，限制${\alpha }_t$非负并不必要，因为负的权重实际对应一个反过来使用的分类器，可能得到一个非常好的效果（如果本身非常烂的话）
• 但是在使用$E_{in}$进行选择的时候，会增加模型的复杂度，很容易过拟合——使用$E_{val}$
• 选择$g^{-}$（即剔除validation的数据训练得到的模型），根据$E_{val}$确定权重
• 利用若干个$g^{-}$，实际上就是在将原始输入$\mathbf{x}$扩展到一个新的空间$\Phi (\mathbf{x})=\left(g_1^{-}(\mathbf{x}),g_2^{-}(\mathbf{x}),\dots ,g_n^{-}(\mathbf{x})\right)$
• 利用上述转换后的样本计算权重$\alpha$，然后得到最终模型$G(\mathbf{x})=\mathrm{L}\mathrm{I}\mathrm{N}\left({\alpha }^{\mathrm{T}}\mathrm{\Phi }\right(\mathbf{x}\left)\right)$
• 拓展：非线性的Blending（Stacking）
  • 使用任何函数形式，根据得到的样本计算：$\tilde{g}=\mathrm{Any}(\Phi (x),y_n)$
  • 从而得到最终模型：$G(\mathbf{x})=\tilde{g}(\Phi (\mathbf{x}))$
  • 很强大，可以实现根据条件调整权重
  • 有比较大的过拟合风险

Bagging

• 如何得到不同的$g_t$
  • 来自不同的模型
  • 来自不同的训练参数
  • 来自不同的算法随机性（初始化等）
  • 来自不同的数据随机性（交叉验证产生$g^{-}$）
• Bagging：利用数据随机性，不使用$g^{-}$产生$\bar{g}$
• bootstraping：从现有数据$D$中均有放回随机采样$N$个样本
  • 不再从一个分布采样样本
  • 而是从一个现有数据集中采样得到子集
  • 元算法
• 只要算法对数据随机性敏感，bootstrapping就会表现很好