文章领域:1. 去雾去雨 2. 图像分离
效果:
结构:
损失:(结合结构理解)
(1)crossroad L1 Loss
这部分损失是G生成的两张图与GT比较得到的。最小化d12+d21很好理解,就是减小生成图与其GT之间的差距,但是为什么要加上d11+d12呢,而且正常情况下不是应该增大生成图与非GT之间的差距吗。这就是去重合的特点,因为你并不知道输出的两张合成图的顺序,所以你没办法找到生成图对应的GT,为了保证生成图最终能和它所属的GT进行比较,所以距离分为了d11+d22和d12+d21。
(2)评价损失
这部分损失的计算中,输入包括三部分,就是三个Dc括号里的内容。第一个Dc用于计算判别器对GT的判别损失,第二个Dc用于计算判别器对G生成的两张单一图片的判别损失,第三个Dc用于计算判别器对两张单一图片的GT混合后的图像的判别损失(不是input那种类型,而是程序在此处通过混合算法将二者的GT进行混合,与input不同)。此处判别器的输出为混合图片或分离图片,是个二分类。本来是和正常的GAN的判别器一样的,就是区分GT和G生成的图片,但是加入GT混合后的图片的判别损失后,此时的D就可以更好地反馈分离效果。
(3)感知损失
为了提高感知质量,会用input的某一个区域作为此处的标签,将G生成的两张图片的相同的区域输入到Dmi的判别器中,来判断输入的是真的(input)还是假的(G的生成),以此来提高质量。
(4)总损失
实验:
未公开源码
看效果还不错