回归损失函数： Huber Loss,Log Cosh Loss,Quantile Loss

最新推荐文章于 2024-07-08 15:05:50 发布

香菇不相识

最新推荐文章于 2024-07-08 15:05:50 发布

阅读量2k

点赞数

分类专栏：深度学习与计算机视觉

本文链接：https://blog.csdn.net/Brook_cv/article/details/103581328

版权

本文介绍了回归任务中常用的损失函数，包括Huber Loss、Log-Cosh Loss和Quantile Loss。Huber Loss结合了MSE和MAE的优点，对异常值有较好的鲁棒性；Log-Cosh Loss是平滑的L2损失，对小误差收敛快，大误差时类似MAE，但计算量较大；Quantile Loss允许设置分位数，能拟合不同数据分布。

摘要由CSDN通过智能技术生成

均方误差（Mean Square Error,MSE）和平均绝对误差（Mean Absolute Error,MAE) 是回归中最常用的两个损失函数，但是其各有优缺点。为了避免MAE和MSE各自的优缺点，在Faster R-CNN和SSD中使用 $\text{Smooth} L_1$ 损失函数，当误差在 $[- 1, 1]$ 之间时， $\text{Smooth} L_1$ 损失函数近似于MSE，能够快速的收敛；在其他的区间则近似于MAE，其导数为 $\pm1$ ，不会对离群值敏感。

本文再介绍几种回归常用的损失函数

Huber Loss
Log-Cosh Loss
Quantile Loss

Huber Loss

Huber损失函数（ $\text{Smooth} L_1$ 损失函数是其的一个特例）整合了MAE和MSE各自的优点，并避免其缺点
$L_\delta(y,f(x)) = \left \{ \begin{array}{c} \frac{1}{2} (y - f(x))^2 & \mid y - f(x) \mid \leq \delta \\ \delta \mid y-f(x) \mid - \frac{1}{2} \delta ^2 & \text{otherwise}\end{array}\right.$