CVPR2019原论文:Semi-supervised Transfer Learning for Image Rain Removal
开源代码(tensorflow框架):https://github.com/wwzjer/Semi-supervised-IRR
1.主要工作:
提出了半监督迁移学习网络完成单幅图像去雨。该网络采用半监督迁移学习,能够利用单幅真实含雨图像(没有ground truth 图像)进行训练。由于很难获取真实含雨图像的ground truth,大部分去雨网络方案都是采用人工合成的数据集进行训练。而该文章提出的半监督的学习能够减少获取成对图像(噪声图像+ground truth图像)数据集的工作量。同时,由于真实图像的雨点具有普遍复杂性,该网络还能够减轻人工数据集监督学习过程中的过拟合问题。
该网络同时利用监督学习和非监督学习进行训练,然后将人工数据集训练的模型迁移到真实图像数据集上。监督学习采用人工数据集训练,计算网络预测输出和人工数据集ground truth的最小平方误差。非监督学习采用真实图像数据集训练,计算雨纹残差(真实含雨图像减去网络去雨输出图像)。
设计了基于梯度下降策略的期望最大优化算法。不断训练优化网络权重参数和雨纹分布参数。
2.网络主体架构:
主要分为两部分:
人工数据集监督学习部分:将人工合成含雨图像经过CNN网络预测输出去雨图像。然后计算预测去雨图像和Label图像的最小平方损失。即用最小平方损失&