GAN-BASED SAR-TO-OPTICAL IMAGE TRANSLATION WITH REGION INFORMATION

• GAN-BASED SAR-TO-OPTICAL IMAGE TRANSLATION WITH REGION INFORMATION
  • 基于GAN的区域信息SAR到光图像翻译

  • 

  • 摘要
    • 提出一种基于条件申城对抗网络的SAR到光学图像的转换方法
    • 由于SAR数据中缺乏颜色信息而导致的彩色化误差
      • 光学图像的颜色是可变的，SAR图像没有颜色信息，生成器网络婚恋，无法生成彩色光学图像
    • 在图像翻译中引入了一个区域信息
      • 来自预先训练的分类网络特征向量被馈送到生成器和鉴别器网络
      • 关键词

    • 

  • 引言
    • 由SAR到光学图像转换算法创建的图像具有SAR数据的可观察性和光学数据的可解释性。

    • 

       
      • 光学图像不同区域颜色不同
    • 提出一种新的SAR到光学图像的转换方法，将SAR图像区域信息引入生成网络中，以将其用于翻译
      • 从辅助CNN提取的特征向量被馈送到生成器网络，由于该辅助网络是预训练的，用于对SAR图像的观测区域进行分类，因此其特征向量包含SAR图像的区域信息
        • 区域信息作为从SAR图像转换的光学图像的先验并帮助生成器创建更正确的光学图像
    • 将光谱归一化应用于鉴别器，将残差网络结构应用于生成器和鉴别器两者
  • 方法
    • SAR到光学转换框架
      • 系统组成
        • 生成器网络，区域分类网络，鉴别器网络

    • 

       
      • 谱归一化

      • 

         
        • W和σ（·）分别表示层的权重矩阵及其最大奇异值
    • 损失函数
      • L1损失

        

        • 这种损失鼓励生成器通过最小化生成的图像和地面实况之间的差异来学习从SAR图像到光学图像的映射
      • 对抗性损失，产生清晰图像

        

      • 

      • 

  • 实验结果
    • 数据集
      • SEN1-2数据集
    • 学习率0.0002，λ=10，并使用Adam优化器，前50个epoch保持学习率初始值，接下来的50个epoch线性衰减到0.0001
    • 区域分类网络，使用预训练ResNet-18对SAR图像进行分类。在预训练中，使用感兴趣区域（ROI）信息作为分类问题的标签。对区域分类网络进行训练，以区分获取SAR图像的地点。在预训练之后，移除ResNet-18的最后一个全连接层，并将其用作区域分类网络。

    • 

参考文献

《GAN-BASED SAR-TO-OPTICAL IMAGE TRANSLATION WITH REGION INFORMATION》

GAN-Based SAR-to-Optical Image Translation with Region Information | IEEE Conference Publication | IEEE Xplore