Hinton Neural Network课程笔记10a：融合模型Ensemble, Boosting, Bagging

课程简介

Geoffrey Hinton 2012年在coursera上开的网课：Neural Networks for Machine Learning。

课程笔记

1. 模型融合的原因

1.1. bias-variance trade-off

当模型过于复杂而数据量不足的时候，就会出现过拟合问题。即学习了很多训练集内部的噪声等内容，在测试集结果不好。通过模型之间取均值可以较好的解决这个问题，尤其是模型预测的结果很不相同的时候。
对于回归问题，误差中分为bias与variance，其中bias是因为模型本身能力不足，学得的与实际有偏差（bias)；而variance是因为模型本身能力过大，学习到了很多误差，variance的名字是因为每次训练模型都会得到不同的局部最优点，变化(variance)很大。通过训练多个高复杂度的模型然后取均值，可以很好的消除variance，而保留其低bias的特质。（个人理解是因为variance有正有负，所以均值之后期望为0）。

1.2. 融合模型有助于减少variance

这有几个前提：
1. 误差函数具有平方和的形式。（拓展的讲可以是任意凸函数）
2. 是针对整个大数据集而言，而不是某个具体的点。
3. 比较的是任意选取一个模型或者选取模型的平均值。
4. 各个模型之间相差较大。
公式部分如下图，简单的说就是利用了二次函数的凸函数性质，函数值的期望大于期望的函数值。