【机器学习基础】回归相关指标优化-CSDN博客

作者: 尘沙杰少、谢嘉嘉、DOTA、有夕

赛题理解，分析，规划之回归相关指标优化

此处我们列举kaggle过往几年中，在回归问题中经常出现的一些评估指标，因为在数据竞赛中我们更多的是考虑在特定评测指标下如何对我们的指标进行优化来提升线上的排名，所以此处我们不对这些指标的合理性进行探讨，有兴趣的可以去google上探讨相应指标在实践生产中的合理性。

在下面的篇章中，我们会给出回归问题类的竞赛中各类评估指标以及Top方案采用的优化方式，便于大家查询，此处仅列举常用的作为参考，很多获奖的选手都是各种Loss的组合并最后做模型stacking得到的，这些我们会在后面系列的文章中慢慢提到。

1. RMSE(Root Mean Square Error)

1.1 定义

其中为测试样本的个数，为第个样本的真实值，为关于第个样本的预测结果；

1.2 案例

New York City Taxi Fare Prediction,2018
Predict Future Sales
House Prices - Advanced Regression Techniques
Restaurant Revenue Prediction
BigQuery-Geotab Interp Congestion
Google Analytics Customer Revenue Prediction
Tabular Playground Series - Jan 2021
Elo Merchant Category Recommendation
Tabular Playground Series - Feb 2021

1.3 求解

RMSE可以直接优化的函数，一般默认选用平方损失函数进行优化即可，很多工具包里面也称之为L2损失。

2. MSE(Mean Square Error)

2.1 定义

其中为测试样本的个数，为第个样本的真实值，为关于第个样本的预测结果；

2.2 案例

暂无

2.3 求解

MSE是可以直接优化的函数，所以直接默认选用平方损失函数进行优化即可，很多工具包里面也称之为L2损失。

3. MAE(Mean Absolute Error)

3.1 定义

其中为样本的个数，为第个样本的真实值，为关于第个样本的预测结果；

3.2 案例

Allstate Claims Severity
Basic Regression Competition
How Much Did It Rain? II

3.3 求解

MAE在诸多工具包中也已经有对应的优化函数，直接使用即可，有些包中也会称之为L1损失函数。

4. RMSLE(Root Mean Squared Logarithmic Error)

4.1 定义

其中为测试样本的个数，为第个样本的预测结果，为第个样本的真实值。

4.2 案例

Walmart Recruiting II: Sales in Stormy Weather
Machinery Tube Pricing
Sberbank Russian Housing Market
New York City Taxi Trip Duration

4.3 求解

先对数据做log1p转化，然后使用L2损失函数直接求解即可。

5. MAPE(Mean Absolute Percentage Error)

5.1 定义

5.2 案例

Cart Time Series

5.3 求解

如果采用神经网络对此类问题进行优化，可以直接自己定义MAPE的Loss。

参考文章

Choosing the correct error metric: MAPE vs. sMAPE：https://towardsdatascience.com/choosing-the-correct-error-metric-mape-vs-smape-5328dec53fac
What is the different MAE, MAPE, MSE, and RMSE:https://www.kaggle.com/learn-forum/52081
mape和smape，基于mae的回归评价指标:https://zhuanlan.zhihu.com/p/259662864
Model Fit Metrics:https://www.kaggle.com/residentmario/model-fit-metrics


往期精彩回顾



适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
本站qq群704220115，加入微信群请扫码：