Texture-aware gray-scale image colorization

论文题目：Texture-aware gray-scale image colorization using a bistream                                                 generative adversarial network with multi scale attention structure

论文：https://www.sciencedirect.com/science/article/pii/S0952197623002786

代码： https://github.com/JarryZang/Image-Colorization-

 1、研究动机

     作者提出了一种双流GAN框架（Bistream Generative Adversarial Network, BS-GAN）用于灰度图像上色，论文中主要的特点是双流GAN和组合注意力结构的应用。

 2、主要方法

     该文的网络结构图，以U-Net为主干，与传统生成对抗网络的主要不同如下所示。

 

     BS-GAN框架采用两个并行编码和解码子网络，在提高上色性能的同时能够学习低频和高频特征并保留图像纹理细节。为了选择性地融合双流子网络的特征，增强潜在有利于图像上色的通道和位置的重要性，该文提出多尺度特征提取（Bistream Feature Extraction Module，BSFEM）模块，并在其中添加混合注意结构，它能有效地集成像素复合注意力（Add Pixel Attention，APA）模块和通道注意（Channel Attention, CA）模块。作者为进一步融合特征，恢复色度信息，该文还提出了特征增强（Feature Boosting Module，FBM）模块，以结合不同尺度特征实现特征增强。另外采用多尺度特征注意力（Multi-scale Feature Attention Module，MSFAM）模块，通过多个全局上下文（Global Context Block，GCB）块来区分和决定不同区域的颜色，作者认为可以进一步增强恢复彩色图像的纹理细节。

      该文对网络各个模块进行了详细的介绍和消融实验，并进行一系列的定性和定量分析，证明网络各部分的有效性，具体细节可查看论文，此处不再做过多介绍。