4、机器学习的模型验证

测量模型的性能，以便测试和比较备选方案。

本课程所需数据集夸克网盘下载链接：https://pan.quark.cn/s/9b4e9a1246b2
提取码：uDzP

你已经建立了一个模型，但是这个模型有多好？

在这节课中，你将学习如何使用模型验证来衡量模型的质量。衡量模型质量是迭代改进模型的关键。

在机器学习中，模型验证是评估模型性能的重要步骤。通过模型验证，你可以了解模型的预测能力、过拟合或欠拟合的情况，以及如何改进模型。

一种常见的模型验证方法是使用交叉验证。交叉验证将数据集分成训练集和测试集，并多次重复训练和测试过程。每次迭代中，一部分数据用于训练模型，另一部分数据用于测试模型。通过比较模型的预测结果和实际结果，可以计算模型的准确率、精度、召回率等指标，从而评估模型的性能。

除了交叉验证，还有其他一些常用的模型验证方法，如留出验证和自助验证。留出验证是将数据集分成训练集和测试集，并只进行一次训练和测试。自助验证则通过随机采样数据来创建训练集和测试集，每次采样的数据都不相同。

总之，模型验证是评估和改进模型的关键步骤。通过使用交叉验证、留出验证和自助验证等方法，你可以了解模型的性能，发现模型的不足之处，并采取相应的措施来改进模型。

1、模型验证（Model Validation）是什么

你会想要评估你所建立的几乎每一个模型。在大多数（尽管不是所有）应用中，模型质量的相关衡量标准是预测准确性。换句话说，模型的预测会接近实际情况吗。

许多人在测量预测准确性时会犯一个巨大的错误。他们用训练数据进行预测，并将这些预测与训练数据中的目标值进行比较。您稍后会看到这种方法的问题以及如何解决它，但让我们先想想如何做到这一点。

您首先需要将模型质量总结为一种可以理解的方式。如果你比较10000套房子的预测和实际房价，你可能会发现预测好坏参半。浏览一个包含10000个预测值和实际值的列表是毫无意义的。我们需要将其总结为一个单一的指标。

总结模型质量有很多指标，但我们将从一个称为平均绝对误差（也称为MAE）的指标开始。让我们从最后一个词“错误”开始分解这个指标。

每栋房屋的预测误差为：

error=actual−predicted

所以，如果一栋房子的成本是150,000美元，而你预测它的成本是100,000美元，那么误差就是50,000美元。

使用MAE指标时，我们需要取每个误差的绝对值。这将每个误差转换为正数。然后，我们计算这些绝对误差的平均值。这就是我们衡量模型质量的指标。用普通话说，可以表示为：

平均绝对误差（MAE）= (|预测值 - 实际值|) 的平均值

通过计算平均绝对误差，我们可以评估模型的预测能力。MAE越小，模型的预测能力越强，模型的性能越好。

根据平均误差，我们的