IEEE ROBOTICS AND AUTOMATION LETTERS, VOL. 5, NO. 2, APRIL 2020
一.contribution
1.EUVP数据集的生成:
paired:12K,用cyclegan学习映射,通过unpaired数据集生成
unpaired:8K,人类视觉感知挑选
总结:含有丰富的水体类型,增强模型泛化性,目标为感知图像增强,故不需要建立水体退化模型,不需要水体属性等参数,只需增强后的图像满足视觉感知特点。
2.FUnIE-GAN的提出
二.FUnIE-GAN
1.网络结构
pix2pix
生成器:Unet结构,采用全卷积网络,无全连接层,编码解码器各五个卷积层,解码器用反卷 积,中间跳跃连接,
判别器 : patchGAN,输出16*16的一维矩阵,寻求局部纹理和内容的相似性,而不是在全局上寻求相似度。
2.目标函数
有监督的:
1) cGAN
2) L1损失,寻求全局相似性,去模糊
3) 内容相似损失,定义为预先训练的VGG-19网络的block5_conv2层提取的高级特征。
无监督的:
循环一致损失:X经过GF到Y,再输入到GR重建回X ,预测值X与真值X求损失;Y同样,
因为没有配对的实例,故不能用L1loss来监督unpaired样本,而是循环一致损失函数来完成两个域的转化
总体loss:
三.结果评估
定性:视觉感知
定量:峰值信噪比(PSNR)
结构相似度(SSIM)
UIQM
四,总结
监督学习和无监督学习两种方法,即pix2pix和cycle ,主要贡献是提出了个损失函数,考虑全局相似度和内容一致性。