机器学习泛化

基础概念

机器学习（深度学习）的根本问题是优化和泛化之间的对立。

优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习），而泛化（generalization）是指训练好的模型在前所未见的数据上的性能好坏。

1. 泛化

1.1 泛化概念

指训练好的模型在前所未见的数据上的性能好坏

举个例子：
小明和小李都上了高三。小明头脑机灵，一边刷着五年高考三年模拟一边总结做题规律，而小李一门心思刷题，一套完了又一套，刷的试卷堆成山了却没有对错题进行总结。高考结束成绩公布，小明超出一本线几十分，而小李却勉强上了二本线。这是为什么呢？

原来高考试题一般是新题，谁也没做过，平时的刷题就是为了掌握试题的规律，能够举一反三、学以致用，这样面对新题时也能从容应对。这种对规律的掌握便是泛化能力。

在这个例子中，小明善于总结做题规律，可以说是他的泛化能力好；而小李只知道刷题却没有掌握做题规律，可以说是他的泛化能力差。

1.2 泛化能力分类

根据泛化能力强弱，可以分为：

欠拟合：模型过于简单，不能在训练集上获得足够低的误差；
拟合： 测试误差与训练误差差距较小；
过拟合：过分关注训练集细节，在训练集上表现良好，但不能泛化到新数据上；
不收敛：模型不是根据训练集训练得到的。