相关概念整理（机器学习）

背景

本文是征集各位网友的博客收集和自己搜索查询总结而来，由于学习过程中记录不全，只列出了部分链接，会继续学习和更新整理，未列出的部分请各位谅解，若有问题可评论改正，我会认真看各位的留言的。

---

正文

1、交叉验证

交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。

2、泛化能力
百度百科解释：机器学习算法对新鲜样本的适应能力。更加具体的解释：学习到的模型对未知数据的预测能力，这个未见过的测试数据必须是和训练数据处于同一分布,不在同一分布的数据是不符合独立同分布假设的（对同一规律不同的数据集的预测能力）。通常通过测试误差来评价学习方法的泛化能力。

3、拟合

百度百科：拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用函数表示，根据这个函数的不同有不同的拟合名字。

机器学习的基本问题是利用模型对数据进行 “拟合” ，目的是对未曾出现在训练集中的样本能够进行正确预测。

训练集上的偏差很大的情况叫做欠拟合（Underfitting），也有一种历史叫法：高偏差（High bias）。

和预测值和样本标签值几乎完全一致的情况叫做过拟合（Overfitting），历史上也称为高方差（High variance）。