机器学习模型训练完成后,需要有指标来评估其好坏,对于回归和分类任务所选取的指标也不同
回归
MSE对异常点相对MAE来说outliers更加敏感,因为他是MAE的平方。
如果预测值y只能取常数,对MSE最优取值是y真实值的均值,对MAE是中位数
MSE和MAE比较时用的都是值得绝对大小,有时我们需要用到相对大小,
比如真实值是10,预测值是9
和真实值是1000,预测值是999
两者都相差1,用MSE和MAE衡量相差都一样,可是他们相差的百分比却不一样,一个是10%,一个是0.1%,这种用百分比就是MSPE,MAPE,MSLE
分类
Loss和Metric区别:
metric是用来衡量模型优劣的指标,是我们需要优化的目标,但不是所有指标都能直接优化,loss解决的就是这个问题,loss就是模型需要优化什么,或者说优化所使用的的函数。
Regression metrics optimization
以下模型可以对MSE,RMSE,R2优化
以下可以针对MAE优化
Classification metrics optimization