Task5 模型集成

1. 集成学习方法
– 假设你有许多基础分类器—“简单的分类规则”,则组合
这些分类规则可能是一个好主意, 可能会比单个规则获得
更高的精度
– 选择基础分类器时候往往主要考虑的是其简单性,而非精
度
– 基础分类器应该对总体中的一部分不同个体是精确的,他
们组合起来可以有效处理所有个体 (即互为补充)
– 基础分类器之间的差异

• 不同基础分类器有着不同的假设

• 同一分类器有着不同的超参数

• 同一输入对象或事件的不同表达:例如语音识别里面
  嘴唇运动的声音特征和形状变化过程都是输入

• 不同的训练集:使用不同训练集并行或者依次训练基
  础分类器

• 不同的子任务: 主要任务通过使用一些基础分类器解
  决一系列子任务而完成
  – 组合基础分类器

• 多专家综合方法 (并行方式)
  · 基础分类器并行方式运行
  · 综合每个分类器的结果给出最终结果
  · 例如:投票制

• 多阶段综合方法 (依序方式)
  · 基础分类器依序进行
  · 根据复杂性将基础分类器从小到大排序:不使用
  复杂的分类器,除非都不满意前面的简单分类器
  • 一个集成学习方法比单个学习方法的推广能力更强,原因在于
  – 训练集没有包含可以选择一个最佳分类器的充分信息
  – 学习算法的学习过程可能不完美
  – 搜索的空间可能没有包含真正的目标函数,而集成学习可
  以给出更好的近似

• 模型选择和模型平均(集成学习)
  – 当一个模型比其他模型显著的更精确,则模型选择方法更
  好
  – 如果所有模型预测精度类似,则模型平均方法更好

2.投票
• 投票 (voting) 方