深度学习知识点总结

1.欠拟合，过拟合和模型的容量

1.1基本概念

机器学习的目标是使算法在“先前未观测到的新输入上”表现良好，这种能力成为泛化。通常我们希望算法在测试集上具有小的泛化误差。这个泛化误差体现在测试集上的测试误差。

前提：我们的假设是每个数据集中的样本都是相互独立的，并且测试集和训练集是同分布的。

机器学习算法中，我们的处理过程为：

（1）降低训练误差；

（2）缩小训练误差和测试误差的差距；

欠拟合：模型没有获得足够低的训练误差；

过拟合：训练误差和测试误差的差距太大。

模型的容量：指其拟合各种函数的能力。容量低的模型很难拟合训练集；容量高的模型可能会过拟合，因为记住了不适用于测试集的训练集性质。

“奥卡姆剃刀”：在同样能够解释已知观测现象的假设中，选择最简单的那个。

偏差：偏差度量了偏离真实函数或者参数的误差期望。

方差：方差度量了数据上任意特定采样可能导致的估计期望的偏差。