课程简介
Geoffrey Hinton 2012年在coursera上开的网课:Neural Networks for Machine Learning。
课程笔记
1. 模型融合的原因
1.1. bias-variance trade-off
当模型过于复杂而数据量不足的时候,就会出现过拟合问题。即学习了很多训练集内部的噪声等内容,在测试集结果不好。通过模型之间取均值可以较好的解决这个问题,尤其是模型预测的结果很不相同的时候。
对于回归问题,误差中分为bias与variance,其中bias是因为模型本身能力不足,学得的与实际有偏差(bias);而variance是因为模型本身能力过大,学习到了很多误差,variance的名字是因为每次训练模型都会得到不同的局部最优点,变化(variance)很大。通过训练多个高复杂度的模型然后取均值,可以很好的消除variance,而保留其低bias的特质。(个人理解是因为variance有正有负,所以均值之后期望为0)。
1.2. 融合模型有助于减少variance
这有几个前提:
1. 误差函数具有平方和的形式。(拓展的讲可以是任意凸函数)
2. 是针对整个大数据集而言,而不是某个具体的点。
3. 比较的是任意选取一个模型或者选取模型的平均值。
4. 各个模型之间相差较大。
公式部分如下图,简单的说就是利用了二次函数的凸函数性质,函数值的期望大于期望的函数值。