ISLR 读书笔记二：评估模型的准确性

最新推荐文章于 2024-04-16 13:50:24 发布

晓炜

最新推荐文章于 2024-04-16 13:50:24 发布

阅读量727

点赞数

分类专栏：机器学习文章标签：机器学习人工智能算法

本文链接：https://blog.csdn.net/weixin_43084570/article/details/108738438

版权

本文介绍了机器学习中评估模型准确性的关键指标——MSE，探讨了训练MSE和测试MSE的区别，并强调了测试MSE的重要性。此外，文章还分析了模型的偏差和方差之间的权衡关系，以及如何在分类问题中衡量模型性能，如贝叶斯分类器和KNN方法，同时提到了K值选择对模型的影响。

摘要由CSDN通过智能技术生成

统计学习中，有一条天下没有免费的午餐定理：没有哪一个方法可以对任何数据集，都胜过其他任何方法。所以，在具体实践中，选择最好的方法，成为了一个具有挑战性的问题。但是要如何比较模型的好坏呢？以下就介绍了一些评估模型好坏的概念。

MSE

MSE是均方误差（mean squared error）的缩写，用来刻画模型拟合程度的好坏，多用于线性回归模型。
$MSE=\frac{1}{n}\sum_{i=1}^n(y_i-\hat{f}(x_i))^2$
MSE分为训练MSE（training MSE）和测试MSE（test MSE）。顾名思义，训练MSE，是用训练集计算产生的MSE，测试MSE，是用测试集计算产生的MSE。
通常，我们更希望获得较小的测试MSE，而不是较小的训练MSE，因为我们希望该模型在未被检测到的数据上，也能产生好的效果。所以，通常我们更青睐于使得测试MSE最小的模型。
需要注意的是，训练MSE和测试MSE看似关系密切，但其实不然：较小的训练MSE并不能保证较小的测试MSE。所以，那些训练MSE较小的模型，未必就有较小的测试MSE。
在实践中，训练MSE是容易计算的，而测试MSE往往比较困难计算。交叉验证（cross-validation）就是一类用来评估测试MSE的方法。