深度学习原理分析之数据不足与过拟合

人们常常知道若干种解决过拟合的方法但不知其因，本文对其进行原理剖析。

一个模型所能提供的信息一般来源于两个方面， 一是训练数据中蕴含的信息； 二是在模型的形成过程中（包括构造、 学习、 推理等），人们提供的先验信息。

当训练数据不足时， 说明模型从原始数据中获取的信息比较少， 这种情况下要想保证模型的效果， 就需要更多先验信息。

先验信息的作用方式分为两种：

先验信息可以作用在模型上， 例如让模型采用特定的内在结构、 条件假设或添加其他一些约束条件；

先验信息也可以直接施加在数据集上， 即根据特定的先验假设去调整、 变换或扩展训练数据， 让其展现出更多的、 更有用的信息， 以利于后续模型的训练和学习。

此处深有感悟，目前深度学习面临的一大难点就是数据匮乏。在大多数实际应用中，我们缺少充足的数据来源。那么就会采用上述两种形式。其中，迁移学习则采用第一种，让其他近似的数据所学到的模型作为先验进行微调。除此之外，第一种还有很多著名的paper，如2017CVPR的Gabor人工调制神经网络（在我隔壁实验室的大牛，仰望~）等技术，以及作者本人所提到的投影/Gabor双重调制技术。待文章发表后再详细叙述。这种人工调制技术有着很大的实际应用价值与发展前景，是个发paper的好思路。除此之外还有很多常用的简化模型（如将
非线性模型简化为线性模型） 、 添加约束项以缩小假设空间（如L1/L2正则项） 、 集成学习、 Dropout超参数等

第二种方法便是常见的数据增强，除此之外，使用生成模型也可以合成一些新样本， 例如当今非常流行的生成式对抗网络模型，这一点也是个很好的paper idea。