Deep Retinex Decomposition for Low-Light Enhancement

根据Retinex方法，任意一幅图像S可以表示为

其中R表示反射分量，I表示光照分量，○表示对应点相乘。反射分量R是由物体性质决定的恒定分量，而光照分量I则是由光照影响的可变分量，因此作者提出使用模型RetinexNet来模拟光照分量I。

模型包含3个部分：分解、调整和重建，分解和调整过程各训练一个模型。

分解模型：该模型主要把一幅图像中的光照分量I和反射分量R进行分解，得到分解后的两幅图像。图像一开始先经过一次3*3卷积不进行激活，随后进行5次3*3卷积+relu操作，最后进行一次3*3卷积并经过sigmoid函数得到通道为4的图像，其中取前3个通道的图像作为反射分量，最后一个通道的图像作为光照分量。

损失函数包含三个部分：重建损失、反射分量损失、光照分量损失。

重建损失：

即模型预测的光照分量I和反射分量R点乘应该和原图尽可能相近。

反射分量损失：

根据Retinex理论，反射分量是由物体性质决定的恒定分量，因此无论是高光照图片还是低光照图片，两个图片的反射分量应该尽可能一致。

光照分量损失：

作者假设一个理想的光照分量应该是在纹理细节上比较平滑的，同时能很好地保持整体结构的边界。如果直接使用TV loss的话，由于TV loss是全局梯度累加求平均，因此遇到强结构或者光线变化剧烈的地方会导致损失变大，即TV loss存在结构盲目现象。又由于光照分量I很容易出现光线的剧烈变化，因此作者提出了使用反射分量R的梯度图为光照分量提供权重，从而缓解TV loss的结构盲目问题。

调整模型：调整模型分为部分，第一个部分是把分解模型得到光照分量I和反射分量R输入到增强网络，第二个部分是对反射分量R进行去燥处理。

1. 增强网络结构如下

输入为分解模型得到的光照分量I和反射分量R的拼接。第一个和最后两个卷积后不加relu激活。

损失函数包含：重建损失和光照分量损失

重建损失：

光照分量损失

 

2、反射分量去燥：使用BM3D方法

 

重建：使用去燥后的反射分量R和增强网络得到的光照分量I进行点乘得到最后的图像。

实验：batch_size = 16 ，训练patch_size = 96 * 96

 

代码分析：

为什么需要先求三个通道的最大值？

为什么第一个卷积使用9*9卷积？感觉是代码写错了。

 

为什么在求光照分量损失权重时需要取梯度平均值？使用反射分量梯度图的主要原因是为了减缓光照变化剧烈或者强结构带来的盲区，然而反射分量梯度图可能同样存在这个问题，因此使用平均梯度可以缓解这个问题。