机器学习基础，过拟合和欠拟合，容量与泛化能力

一、泛化

机器学习的主要挑战在于未见过的数据输入上表现良好，这个能力称为泛化能力。我们量化一下模型在训练集和测试机上的表现，将其分分别称为训练误差和测试误差。后者常称为泛化误差。可以这样说：理想的模型就是在最小化训练误差的同事，最小化泛化误差。

决定机器学习算法是否好的因素就是：

1）降低训练误差

2）缩小训练误差和测试误差的差距

这两大因素，分别对应了机器学习的两大挑战：过拟合和欠拟合

二、过拟合和欠拟合

机器学习中我们评价Model好坏一个重要指标就是泛化能力。如果模型在训练集合中表现很差，在测试集合中表现很差，我们就称之为欠拟合（Underfitting）模型在数据的训练集合中表现良好，在测试数据中也表现的良好。如果只是在训练数集中表现好，但在测试中表现不好，我们就称为过拟合（Overfitting）

比如我们通过学习身高和体重的数据建立一个模型，你给我一个体重模型预测出一个人的身高。