深度学习-模型选择+过拟合欠拟合

训练误差和泛化误差：

训练误差：模型在训练数据上的误差

泛化误差：模型在新数据上的误差

验证数据集和测试数据集：

验证数据集：用来评估模型好坏的数据集

一般拿出50%的数据作为验证数据集，另外50%的数据用作训练。

一定一定不要跟训练数据混在一起！！！

测试数据集：只用一次的数据集

例如：高考一次定结果

我出价的房子的实际成交价

不能再根据测试数据集去修改模型（当验证数据集用了）

 

就是说，比如将训练数据分为三块。第一次，第1块作为验证数据集，2,3块作为训练数据集；第二次，第2块作为验证数据集，1,3块作为训练数据集......

模型容量需要匹配数据复杂福，否则可能导致欠拟合和过拟合。

                ​​​​​​​         

模型容量：拟合各种函数的能力。低容量的模型难以拟合所有的训练数据，高容量的模型可以记住所有的训练数据。

 对模型容量的估计（给定一个模型种类的话）将有两个主要因素：参数个数和参数的选择范围。

VC维：

VC维是统计学习理论的一个核心思想，对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对他进行完美分类。

 

实际中一般靠观察训练误差和验证误差。