最全的深度学习回归损失函数

1. 平均绝对误差：

Mean Absolute Error (MAE)， L1 norm 损失函数
$$MAE=\frac{1}{N}\sum _{i=1}^N|y_i-{\hat{y}}_i|$$
该损失函数易于计算和测量真实值和预测值之间的绝对差。它对异常值不敏感，在零处也不可微。

2. 均方差：

Mean Squared Error (MSE)， L2 norm 损失函数
$$MSE=\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2$$
当由于二次损失而检测到异常值时，该损失函数以有效的方式处理异常值。随着损失的减少，梯度变小，收敛也是平滑的。

3. 平均偏差误差

Mean Bias Error (MBE)，平均偏差误差并不经常作为损失函数用于任何机器模型。MBE主要用于计算机器学习模型中的平均偏差。尽管它在实践中不太准确，但它可以确定模型是有正偏差还是有负偏差：
$$MBE=\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i)$$
上述损失与MAE不同，因为它没有使用绝对值。它有助于识别模型偏差的方向，即（+ve或-ve）。这种损失的问题是，有时误差可能会在单个样本之间抵消，导致零损失，这可能会产生误导。

4. 相对绝对误差

Relative Absolute Error (RAE)，相对绝对误差的计算包括取总绝对误差除以平均值和实际值之间的绝对差。相对平方误差（RSE）：
$$\begin{gathered} RSE=\frac{{\sum }_{i=1}^N|y_i-\hat{y}|}{{\sum }_{i=1}^N|y_i-\bar{y}|}, \\ where\bar{y}=\frac{1}{N}\sum _{i=1}^N{y}_i \end{gathered}$$
RAE是一种基于比率的指标，用于评估预测模型的功效。RAE的值可能介于0和无穷大之间。接近零的值，其中零是最佳值，是一个好模型的特征。

5. 相对平方误差

Relative Squared Error (RSE)，相对平方误差是相对于使用简单预测器时的误差。更具体地说，这个简单的预测器只是实际值的平均值。因此，相对平方误差取总平方误差，并通过除以简单预测器的总平方误差将其归一化：
$$\begin{gathered} RSE=\frac{{\sum }_{i=1}^N(y_i-\hat{y}{)}^2}{{\sum }_{i=1}^N(y_i-\bar{y}{)}^2}, \\ where\bar{y}=\frac{1}{N}\sum _{i=1}^N{y}_i \end{gathered}$$
对于完美拟合，分子等于0，损失=0。因此，损失指数的范围从0到无穷大，其中0对应于理想。

6. 平均绝对百分比误差

Mean Absolute Percentage Error (MAPE)， 平均绝对百分比误差（MAPE），也称为平均绝对百分比偏差（MAPD），是一种用于评估预测系统准确性的指标：
$$MAPE=\frac{1}{N}\sum _{i=1}^N\frac{|y_i-{\hat{y}}_i|}{y_i}\cdot 100\%$$

7. 均方根误差

Root Mean Squared Error (RMSE)， MSE的平方根用于计算RMSE：
$$RMSE=\sqrt{\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2}$$

8. 均方对数误差

Mean Squared Logarithmic Error (MSLE)， 均方对数误差（MSLE）测量实际值和预期值之间的差异：
$$MSLE=\frac{1}{N}\sum _{i=0}^N[log(y_i+1)-log({\hat{y}}_i+1){]}^2$$
损失函数与标度无关，因为它是两个对数值的差，这与值的比值的对数相同。由于损失是对数的，它惩罚低估多于高估。

9. 均方根对数误差

Root Mean Squared Logarithmic Error (RMSLE)， 对数均方根误差是通过将对数应用于实际数字和预测数字，然后减去它们来确定的。当同时考虑小误差和大误差时，RMSLE能够抵抗异常值：
$$RMSLE=\sqrt{\frac{1}{N}\sum _{i=0}^n[log(y_i+1)-log({\hat{y}}_i+1){]}^2}$$
损失函数与标度无关，因为它是两个对数值的差，这与值的比值的对数相同。由于损失是对数的，它惩罚低估多于高估。与MSLE相同，但它的均方根版本。

10. 归一化均方根误差

Normalized Root Mean Squared Error (NRMSE)， 归一化均方根误差（NRMSE）RMSE便于在具有不同尺度的模型之间进行比较。这里的$o$是观测值的平均值：
$$NRMSE=\frac{\sqrt{\frac{1}{N}{\sum }_{i=0}^N(y_i-{\hat{y}}_i{)}^2}}{o}$$
NRMSE克服了规模依赖性，简化了不同规模或数据集的模型之间的比较。

11. 相对均方根误差

Relative Root Mean Squared Error (RRMSE)， RRMSE是一种无量纲的RMSE变体。相对均方根误差（RRMSE）是一种均方根误差度量，它已根据实际值进行缩放，然后通过均方根值进行归一化：
$$RRMSE=\sqrt{\frac{\frac{1}{N}{\sum }_{n=1}^N(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^N({\hat{y}}_i)}}$$

12. HUber损失

Huber损失是二次和线性评分算法的理想组合：
$$L_{\delta }=\{\begin{array}{ll}\frac{1}{2}(y_i-\hat{y}{)}^2& \text{if}|(y-\hat{y})|<\delta \\ \delta (y-\hat{y})-\frac{1}{2}\delta & \text{otherwise}\end{array}$$
Huber损失是二次和线性两个损失函数的组合。损失的行为由阈值的值来定义。对于超过阈值的损失值，损失是线性的，否则是二次的。

13. 对数余弦损失

Log Cosh Loss， Log-cosh计算误差的双曲余弦的对数：
$$Logcosh(t)=\sum _{i=1}^{N}log[cosh(y_i-{\hat{y}}_i)]$$
这种损失在行为上非常接近Huber损失，因为它对于非常大的误差值具有线性行为，而对于小的损失值具有二次性行为。这里的好处是，您不必像Huber损失的情况那样决定阈值的值。

14. 分位数损失函数

Quantile Loss，分位数回归损失函数用于预测分位数。分位数是指示组中有多少值低于或高于特定阈值的值：
$$QuantileLoss=\sum _{i=y_i<{\hat{y}}_i}(\gamma -1)|y_i-{\hat{y}}_i|+\sum _{i=y_i>{\hat{y}}_i}(\gamma )|y_i-{\hat{y}}_i|$$
这里，$\gamma$表示所需的分位数。分位数是根据我们希望如何平衡正误差和负误差来选择的。

15. 后验极大似然损失函数

后验极大似然（PML）损失函数的具体公式是通过最大化参数的后验概率密度函数来估计参数值，而不是最大化似然函数。在贝叶斯统计中，可以表示为：
$$L(\theta )=argmaxP(\theta |D)$$

其中，L(θ)是损失函数，θ是参数，P(θ|D)是给定观测数据D条件下参数θ的后验概率密度函数。

根据贝叶斯公式，可以将后验概率密度函数表示为：
$$P(\theta |D)=P(D|\theta )\ast P(\theta )/P(D)$$
其中，P(D|θ)是给定参数θ的似然函数，P(θ)是参数θ的先验分布，P(D)是数据的边缘概率。

最大化后验概率密度函数等价于最大化条件似然函数 P(D|θ) * P(θ)，即：
$$L(\theta )=argmaxP(D|\theta )\ast P(\theta )$$
后验极大似然损失函数的具体形式和计算方法取决于所选择的先验分布和问题的特定情况。因此，公式中涉及的概率分布和参数估计方法会根据具体问题的需求而有所不同。

16. 泊松损失

Poisson Loss, 它基于泊松分布的概率密度函数和模型预测的平均计数之间的差异。泊松损失（Poisson Loss）适用于计数数据的预测。泊松损失基于泊松分布的概率密度函数和模型预测的平均计数之间的差异来衡量模型的拟合程度：
$$poisson(P,T)=\frac{1}{N}\sum _{i=1}^N(P_i-T_{i}log(P_i))$$

参考文章：
https://medium.com/@mlblogging.k/14-loss-functions-you-can-use-for-regression-b24db8dff987