Charbonnier Loss

马鹏森

已于 2023-07-18 17:22:34 修改

阅读量2.7w

点赞数 13

分类专栏：机器学习基础文章标签： pytorch 深度学习神经网络

于 2021-10-20 14:42:51 首次发布

本文链接：https://blog.csdn.net/weixin_43135178/article/details/120865709

版权

机器学习基础专栏收录该内容

191 篇文章 100 订阅

订阅专栏

最近在做一些图像生成的相关任务，看到了有些论文用Charbonnier Loss来近似 $l_{1}$ 损失来提高模型的性能，这里就对论文中提到的Charbonnier Loss做一个梳理。

Charbonnier Loss的表达式如下所示：

$Charbonnier_Loss =\sqrt{x^{2}+\epsilon^{2}}$

首先参考以下这篇超分辨领域的论文《Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks》：

http://xxx.itp.ac.cn/pdf/1710.01992xxx.itp.ac.cn/pdf/1710.01992

下面截取文章中几处提到该损失函数优点的地方。

translation：我们证明了所提出的具有鲁棒 Charbonnier 损失函数的深度网络可以更好地处理异常值，比L2 损失函数提高 SR 性能。

最后按照惯例给出函数的代码，其实也很简单：

class L1_Charbonnier_loss(torch.nn.Module):
    """L1 Charbonnierloss."""
    def __init__(self):
        super(L1_Charbonnier_loss, self).__init__()
        self.eps = 1e-6

    def forward(self, X, Y):
        diff = torch.add(X, -Y)
        error = torch.sqrt(diff * diff + self.eps)
        loss = torch.mean(error)
        return loss

损失函数

我们舍弃了L2和L1这两种损失函数，因为他们都会造成图像过于平滑的问题，缺乏感官上的照片真实感，我们采用的损失函数是一个很稳定的损失函数 Charbonnier loss function，总体的函数我直接截图了，论文中也并没有提及这个损失函数为什么好用，感兴趣的可以去翻这个损失函数的论文。

优点可能是曲线更平滑了，接近零点的值的梯度由于常数西普斯隆的存在，梯度也不会太小，避免梯度消失；远离零点的值的梯度由于开方，梯度也不会太大，避免梯度爆炸。不太准确，主观分析了一波