深度学习用于图像/视频增强的损失函数(loss)及评价指标

图像/视频增强一般包含去噪、去雾和超分辨率等等，如何来评价经过增强后的图像就需要衡量指标来评定，图像质量评价从方法上可分为主观评价方法和客观评价方法，本文主要介绍客观评价方法中三个重要的评价指标均方误差（MSE，Mean Squared Error）、峰值信噪比（PSNR，Peak Signal to Noise Rate）和结构相似性(SSIM，Structural Similarity）。

在深度学习中选择不同的loss function对模型的训练也有不同的影响，在图像增强领域中常用L1、L2距离。

1.均方误差（MSE，Mean Squared Error）
假设大小为$M\times N$的原始图像$I$和经过处理的图像$K$，均方误差为
$$MSE=\frac{1}{MN}\sum _{i=0}^{N-1}\sum _{j=0}^{M-1}[I(i,j)-K(i,j){]}^2$$
均方误差衡量的是原始图像和经过处理图像像素差值的均方值，通过均方值的大小来确定两个图像之间的差异。MSE越大，两者之间的差异越大；MSE越小，两者之间的差异越小。

2.峰值信噪比（PSNR，Peak Signal to Noise Rate）
数学公式定义如下：
$$PSNR=10lo{g}_{10}(\frac{MA{X}_I^2}{MSE})$$
其中$MA{X}_I^2$为原始图像的最大像素值。如果图像像素值是由8位二进制表示，则该值为255；如果图像像素值是由B为二进制表示，则该值为$MA{X}_I^2=2^B-1$。一般针对uint8图像，最大像素值为255，浮点型数据的最大像素值为1。PSNR单位是dB。
上述公式是针对灰度图像的计算方法，如果是彩色图像，通常由三种方法来计算：
1.分别计算 RGB 三个通道的 PSNR，然后取平均值。
2.计算 RGB 三通道的 MSE ，然后再除以 3 。
3.将图片转化为 YCbCr 格式，然后只计算 Y 分量也就是亮度分量的 PSNR。
如果是计算视频的PSNR，需要计算整个视频的MSE进行计算，而不是计算每一帧的MSE后加和后作为整个视频的MSE，具体公式如下：
$$MSE=\frac{1}{MNF}\sum _{f=0}^{F-1}\sum _{i=0}^{N-1}\sum _{j=0}^{M-1}[I(i,j,f)-K(i,j,f){]}^2$$
其中，F为视频的帧数。

3.结构相似性（SSIM，Structural Similarity）

结构相似性基于两个图像的三个指标来比较：亮度 (luminance)、对比度 (contrast) 和结构 (structure)
$$\begin{gathered} l(x,y)=\frac{2u_x{u}_y+c_1}{u_x^2+u_y^2+c_1} \\ c(x,y)=\frac{2{\sigma }_x{\sigma }_y+c_2}{{\sigma }_x^2+{\sigma }_y^2+c_2} \\ s(x,y)=\frac{{\sigma }_{xy}+c_3}{{\sigma }_x{\sigma }_y+c_3} \end{gathered}$$
其中，$u_x$为$x$的均值；$u_y$为$y$的均值；${\sigma }_x^2$为$x$的方差；${\sigma }_y^2$为$x$的方差；${\sigma }_{xy}$为$x$和$y$的协方差；$c_1、c_2和c_3$为常数，防止除零，一般$c_1=(k_{1}L{)}^2,c_2=(k_{2}L{)}^2$,$L=2^B-1$,$B$为图像位数。
那么，$$SSIM(x,y)=[l(x,y{)}^{\alpha }\cdot c(x,y{)}^{\beta }\cdot s(x,y{)}^{\gamma }]$$
当$\alpha ,\beta ,\gamma$为1，得到
$$SSIM(x,y)=\frac{(2u_x{u}_y+c_1)(2{\sigma }_{xy}+c_2)}{(u_x^2+u_y^2+c_1)({\sigma }_x^2+{\sigma }_y^2+c_2)}$$
每次计算的时候都从图片上取一个 $N\times N$ 的窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的 SSIM。

4.图像增强中的loss选择
一般情况下都是使用L2作为损失函数，也就是均方误差。L2和L1的区别在于L2比L1多了平方，以L2为loss的网络会对异常值特别敏感，因为平方放大了异常值，会赋予异常点更大的损失值和梯度，反向传播过程中调整网络参数向减小异常点误差的方向更新，因此容易造成训练的不稳定和发散。以L1为loss的网络则对异常点有较好的适应，具有更好的鲁棒性。

《Loss Functions for Image Restoration With Neural Networks》文章中实验了L1，L2、SSIM和MS-SSIM对图像去马赛克、去噪、超分以及JPEG图像去块化做了研究，实验结果以MS-SSIM+L1的组合作为损失函数最佳。

具体的loss选择还是需要经过实验验证，在不同情况下，loss的选择对模型有一定影响。