【机器学习基础】泛化能力、过拟合、欠拟合、不收敛、奥卡姆剃刀原则

这里介绍几个机器学习中经常可以听到的几个名词，它们就是泛化能力，欠拟合，过拟合，不收敛和奥卡姆剃刀原则。

1. 泛化能力

泛化能力是指机器学习算法对新鲜样本的适应能力，简而言之是在原有的数据集上添加新的数据集，通过训练输出一个合理的结果。

学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

用比较直白的话来讲，就是通过数据训练学习的模型，然后利用新的一组数据来测试，这个模型到底行不行，如果达到了一定的要求和标准，它就是行，说明泛化能力好，如果表现很差，说明泛化能力就差。

2. 欠拟合

欠拟合，是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。即，在训练数据集上表现差，在测试集数据也表现差。

3. 过拟合

过拟合，是指模型在训练集上表现很好，在测试集上效果差。

4. 不收敛

不收敛，指误差函数一直在振荡，不能趋近一个定值，没有找到局部或者全局最小值。

5. 奥卡姆剃刀原则

应用于模型选择时的想法为：在所有可选择的模型中，能够很好的解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。