训练误差和泛化误差:
训练误差:模型在训练数据上的误差
泛化误差:模型在新数据上的误差
验证数据集和测试数据集:
验证数据集:用来评估模型好坏的数据集
一般拿出50%的数据作为验证数据集,另外50%的数据用作训练。
一定一定不要跟训练数据混在一起!!!
测试数据集:只用一次的数据集
例如:高考一次定结果
我出价的房子的实际成交价
不能再根据测试数据集去修改模型(当验证数据集用了)
就是说,比如将训练数据分为三块。第一次,第1块作为验证数据集,2,3块作为训练数据集;第二次,第2块作为验证数据集,1,3块作为训练数据集......
模型容量需要匹配数据复杂福,否则可能导致欠拟合和过拟合。
模型容量:拟合各种函数的能力。低容量的模型难以拟合所有的训练数据,高容量的模型可以记住所有的训练数据。
对模型容量的估计(给定一个模型种类的话)将有两个主要因素:参数个数和参数的选择范围。
VC维:
VC维是统计学习理论的一个核心思想,对于一个分类模型,VC等于一个最大的数据集的大小,不管如何给定标号,都存在一个模型来对他进行完美分类。
实际中一般靠观察训练误差和验证误差。