GLeNet
Global and Local Enhancement Networks for Paired and Unpaired Image Enhancement(ECCV 2020) github project
算法思想:global + local。学习一条增强曲线(3通道图像 3条),对图像做 global 调整;通过一个 UNet 学习残差图,模拟空间滤波,做 local 调整。训练数据 paired 和 unpaired 都可,训练 unpaired 数据时参考 CycleGAN 的思路。
基本步骤:
- 低质图像经过一个网络估计增强曲线,得到3 * 256 个值;
- 对低质图像的像素值应用这 3 * 256 个映射值,得到初步增强图像;
- 经过一个 Unet 输出一个残差图,与初步结果相加,做局部修正。
网络结构:
- GEN (global enhance network)
全局映射:10->30,100->150......,对所有的像素值,与伽马校正、log变换等类似。公式表述如下:
其中,
是某个像素值,
是一个 256 维的 one-hot 向量,只有 p 处为 1,其余位置为 0,
是映射函数,二者点乘,得到的结果就是 p 映射成
。 网络结构如下表:
简单的 CNN 结构,特征提取层使用 MobileNet V3 中的 inverted residual block,有利于训练且减少参数,全卷积输出 768=3 * 256 的向量。整个网络可以在低分辨率下训练,得到的映射函数应用在全分辨率的原输入图上。 映射函数的应用,Intensity transform,巧妙地利用了 tf.gather_nd,后续感想有解释。
<