第3章衡量线性回归的指标：MSE，RMSE，MAE

最新推荐文章于 2024-03-22 15:35:37 发布

夜景黑色调

最新推荐文章于 2024-03-22 15:35:37 发布

阅读量321

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_42224488/article/details/117418254

版权

机器学习专栏收录该内容

18 篇文章 1 订阅

订阅专栏

本文详细解读了简单线性回归的目标，介绍了MSE、RMSE、MAE等评估标准，包括它们的量纲、特点及在分类精度中的应用。重点讲解了R²（决定系数），展示了其在模型性能评估中的关键作用，从0到1的范围解释了模型优劣。同时涵盖了基准模型和R²的计算公式。

摘要由CSDN通过智能技术生成

简单线性回归：目标：找到a和b，使得 $\sum_{i=1}^m(y_{train}^{(i)}-ax_{train}^{(i)}-b)^2$ 尽可能小

线性回归算法的评测：

衡量标准： $\sum_{i=1}^m(y_{test}^{(i)}-\hat{y}_{test}^{(i)})^2$ ,问题：和m相关？

1）均方误差MSE（Mean Squared Error）问题：量纲？
$\frac1m\sum_{i=1}^m(y_{test}^{(i)}-\hat{y}_{test}^{(i)})^2$
2）均方根误差RMSE（Root Mean Squared Error）
$\sqrt{\frac1m\sum_{i=1}^m(y_{test}^{(i)}-\hat{y}_{test}^{(i)})^2}=\sqrt{MSE_{test}}$
3）平方绝对误差MAE（Mean Absolute Error）
$\frac1m\sum_{i=1}^m\mid y_{test}^{(i)}-\hat{y}_{test}^{(i)}\mid$
问题：分类的准确度：1最好，0最差
4）R Squared
$R^2=1-\frac{SS_{residual}}{SS_{total}}$
Residual Sum of Squares;Total Sum of Squares
$R^2=1-\frac{\sum_i(\hat{y}^{(i)}-y^{(i)})^2}{\sum_i(\bar{y}-y^{(i)})^2}$
分子：使用我们的模型预测产生的错误；
分母：使用 $y=\bar{y}预测产生的错误$
Baseline Model

1. $R^2\leq 1$
2. $R^2$ 越大越好。当我们的预测模型不犯任何错误时， $R^2$ 得到最大值1；
3.当我们的模型等于基准模型时， $R^2$ 为0；
4.如果 $R^2<0$ ，说明我们学习到的模型还不如基准模型。此事，很有可能我们的数据不存在任何线性关系。
$R^2=1-\frac{\sum_i(\hat{y}^{(i)}-y^{(i)})^2}{\sum_i(\bar{y}-y^{(i)})^2}$
$=1-\frac{(\sum_i^m(\hat{y}^{(i)}-y^{(i)})^2)/m}{(\sum_i^m(\bar{y}-y^{(i)})^2)/m}$
$=1-\frac{MSE(\hat{y},y)}{Var(y)}$