常见损失函数深度剖析之回归

常见损失函数深度剖析之回归

 
###1.均方误差损失函数

 均方误差损失函数——MSE，通常是回归问题的首选损失函数，很多机器学习框架中的回归分析模块，都默认使用MSE。

 如果目标变量满足高斯分布，或近似满足高斯分布，可能就应更偏向于使用均方差函数作为模型的代价函数。

 误差平方化将会使较大的误差被放大，意味着模型主要针对大误差进行惩罚。如果用神经网络进行回归预测，最后的激活层也推荐使用线性激活函数。

###2.均方对数误差损失函数

 对于均方对数误差损失函数——MSLE来说，当回归模型直接预测无标度的量时，它可能就更合适。

 模型无标度的预测，即为预测值有比较大的跨度（可以参照指数增长来理解），这种对大数值的预测能力是模型所需要的。

如果在不需要对大值预测误差施以如均方误差损失那样强的惩罚时，可以考虑使用均方对数误差损失函数。

###3.平均绝对值误差损失函数

 在某些回归问题中，当目标变量绝多时候都满足高斯分布，但也存在少量极端值的情况下，平均绝对值误差损失——MAE，因其对误差统一施以相等的惩罚，在这些场合可能就是一种更适合的选择。