Traffic thermal infrared texture generation based on siamese semantic CycleGAN基于孪生语义CycleGAN的交通热红外纹

Traffic thermal infrared texture generation based on siamese semantic CycleGAN

基于孪生语义CycleGAN的交通热红外纹理生成

作者：Peng Wang，Heng Sun，Xiangzhi Bai，Sheng Guo，Darui Jin

期刊：Infrared Physics & Technology（2021）

摘要

       热红外纹理生成是一种很有前途的红外成像框架，适用于各种应用。 针对热红外系统，提出了一种基于孪生语义 CycleGAN (SS-CycleGAN) 的新型热红外纹理生成算法。 与传统的红外仿真框架不同，SS-CycleGAN 不依赖于额外的环境信息，例如空气温度、湿度和物体的辐射特性。 换句话说，在通过训练 CNN 充分理解交通场景后，可见图像可以像使用风格转换算法一样直接转换为热红外图像。 在本文中，首先引入了风格迁移，用于从彩色可见图像生成热纹理。 设计并引入了用于可见红外变换的连体语义损失，以生成面向对象的热红外纹理，同时保持高清晰度。 与其他风格转换算法相比，SS-CycleGAN 可以在交通场景中生成具有清晰边缘细节的合理热红外纹理。

引言

       在智能交通系统中，热红外纹理显着提高了离线支持、模拟训练、交通监控和自动驾驶的效率。这是因为热纹理生成可以找到可见图像和热红外图像之间的内部关系，这对于交通场景很重要。例如，通过引入热纹理生成可以大大改善车辆检测。在可见图像中，机动车的召回率随涂装颜色的不同而不同。如图所示，尽管可见图像中的颜色和纹理各不相同，但大多数机动车都具有类似的热红外语义，具有深色外壳和明亮底盘。热红外图像中的这种显着性一致性有利于识别、分割和跟踪。借助热纹理生成，可以将交通场景图像转换为具有显着目标的热 红外图像，例如机动车辆和行人。这样，可见的交通场景图像可以更好基于显著目标红外纹理类内一致性去理解。

网络架构

       本文为了生成面向对象的热纹理 ，提出了一种基于CycleGan的新型风格迁移算法。

       孪生循环一致性语义网络（SSCycleGan）结构：

       支路①：输入可见光图像与G2生成的伪可见光图像建立循环一致性损失；

       支路②：输入红外图像与G1生成的伪红外图像建立循环一致性损失；

       两条支路的可见光图、红外图像的梯度分别构建对抗损失；两条支路的G1生成器通过Gram矩阵从生成特征图中生成强相关的纹理。

       两个生成器G1和G2构建风格转移损失。

孪生U-Net生成器：

       本文为了保持清晰度的同时生成纹理，对基于U-Net的生成器进行了修改，引入各种残差快来替换最大池化前的原始卷积块，提升深度串行网络的梯度传输效率，提高生成器的性能。将两个残差块最大池化特征图导出并转换为用于孪生语义损失计算的Gram矩阵，这些浅层特征表示面向对象的显著边缘和纹理，作为附加风格损失。

双鉴别器：

       为了获得高质量的热红外图像，在生成热纹理的同时应该保留彩色可将光图像的高清晰度，模糊部分应该被视为噪声，而不是红外风格。为了区分模糊和边缘细节，设计并引入了基于频率分析的双鉴别器。可以测量生成红外图像和参考红外图像的高频部分差异（边缘细节）。

       通过双鉴别器和红外图像梯度的GAN损失，可以测量频域中生成和参考热红外图像之间的差异。通过这种方式可以为交通场景的典型物体生成热红外纹理的同时识别边缘细节和模糊。

结果

创新点

       提出了一种基于CycleGAN  的新型风格迁移算法；

      设计并引入了基于频率分析的双鉴别器。

      文献阅读笔记的翻译是来自于： 学霸视界（xbsj.cool）推荐大家使用，可以免费翻译PDF！