动手学习机器学习（Day6模型选择+过拟合和欠拟合）

训练误差和泛化误差

• 训练误差：模型在训练数据上的误差
• 泛化误差：模型在新数据上的误差
• 例子：根据模考成绩来预测未来考试分数
  • 在过去的考试中表现很好（训练误差）不代表未来考试一定会好（泛化误差）
  • 学生A通过背书在模考中拿到很好成绩，相当于学生A只会死记硬背当前给出的数据
  • 学生B知道答案后面的原因，学生B知道答案的原因，从而能够灵活运用知识，相当于能预测后续的结果
• 我们关心的是泛化误差

验证数据集和测试数据集

• 验证数据集：一个用来评估模型好坏的数据集
  • 例如拿出50%的训练数据，剩下50%来评估模型好坏，测模型精度、误差
  • 不要跟训练数据混在一起
  • 通过训练数据训练参数，然后用验证数据集判断训练好的模型精度和误差怎么样，再调整
  • 训练数据相当于做习题，验证数据相当于月考，通过做习题得到知识，再通过月考来验证现在知识的掌握情况，通过月考的结果来调整对知识理解的偏差，得到对知识更好的了解
• 测试数据集：只用一次的数据集，不能用来调参，相当于高考，来测试现在这些参数的效果如何

K-则交叉验证

• 没有足够多数据时使用（常态）
• 算法：
  • 将训练数据分为K块
  • For i=1,…, K
    • 使用第i块作为验证数据集，其余的作为训练数据集
  • 报告K个验证集误差的平均
• 常用：K=5或10

过拟合和欠拟合

	简单	复杂
低	正常	欠拟合
高	过拟合	正常

如果简单数据选择了高模型容量，出现过拟合，比如在一个很简单的数据集上用一个特别深的神经网络，神经网络会把每一个样本记住，缺失泛化性。过拟合会导致模型过于注意细节，同时把很多噪点记住。

复杂数据采用低模型容量，会欠拟合，精度不够

模型容量

• 拟合各种函数的能力
• 低容量的模型难以拟合训练数据
• 高容量的模型可以记住所有的训练数据

模型先足够大，再通过各种手段让泛化误差往下降

估计模型容量

• 难以在不同种类算法之间比较
• 给定一个模型种类，将有两个主要因素
  • 参数个数
  • 参数值的选择范围

VC维

• 对于一个分类模型，VC等于最大的数据集大小，不管如何给定标号，都存在一个模型对它完美分类
• 举例
  • 2维输入的感知机，VC维=3
    • 就是单层感知机，能分类任意3个点，不是4个，因为4个能表示异或的情况

数据复杂度

• 多个重要因素
  • 样本个数
  • 每个样本的元素个数
  • 时间、空间结构
  • 多样性