测量模型的性能,以便测试和比较备选方案。
本课程所需数据集夸克网盘下载链接:https://pan.quark.cn/s/9b4e9a1246b2
提取码:uDzP
你已经建立了一个模型,但是这个模型有多好?
在这节课中,你将学习如何使用模型验证来衡量模型的质量。衡量模型质量是迭代改进模型的关键。
在机器学习中,模型验证是评估模型性能的重要步骤。通过模型验证,你可以了解模型的预测能力、过拟合或欠拟合的情况,以及如何改进模型。
一种常见的模型验证方法是使用交叉验证。交叉验证将数据集分成训练集和测试集,并多次重复训练和测试过程。每次迭代中,一部分数据用于训练模型,另一部分数据用于测试模型。通过比较模型的预测结果和实际结果,可以计算模型的准确率、精度、召回率等指标,从而评估模型的性能。
除了交叉验证,还有其他一些常用的模型验证方法,如留出验证和自助验证。留出验证是将数据集分成训练集和测试集,并只进行一次训练和测试。自助验证则通过随机采样数据来创建训练集和测试集,每次采样的数据都不相同。
总之,模型验证是评估和改进模型的关键步骤。通过使用交叉验证、留出验证和自助验证等方法,你可以了解模型的性能,发现模型的不足之处,并采取相应的措施来改进模型。
1、模型验证(Model Validation)是什么
你会想要评估你所建立的几乎每一个模型。在大多数(尽管不是所有)应用中,模型质量的相关衡量标准是预测准确性。换句话说,模型的预测会接近实际情况吗。
许多人在测量预测准确性时会犯一个巨大的错误。他们用训练数据进行预测,并将这些预测与训练数据中的目标值进行比较。您稍后会看到这种方法的问题以及如何解决它,但让我们先想想如何做到这一点。
您首先需要将模型质量总结为一种可以理解的方式。如果你比较10000套房子的预测和实际房价,你可能会发现预测好坏参半。浏览一个包含10000个预测值和实际值的列表是毫无意义的。我们需要将其总结为一个单一的指标。
总结模型质量有很多指标,但我们将从一个称为平均绝对误差(也称为MAE
)的指标开始。让我们从最后一个词“错误”开始分解这个指标。
每栋房屋的预测误差为:
error=actual−predicted
所以,如果一栋房子的成本是150,000美元,而你预测它的成本是100,000美元,那么误差就是50,000美元。
使用MAE指标时,我们需要取每个误差的绝对值。这将每个误差转换为正数。然后,我们计算这些绝对误差的平均值。这就是我们衡量模型质量的指标。用普通话说,可以表示为:
平均绝对误差(MAE)= (|预测值 - 实际值|) 的平均值
通过计算平均绝对误差,我们可以评估模型的预测能力。MAE越小,模型的预测能力越强,模型的性能越好。
根据平均误差,我们的