文章目录
D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution
1.论文目的
该论文引入一个从发散到收敛的网络,具体来说,首先训练4个网络分支,然后再融合为一个。
2.网络结构
网络结构比较清晰,如下图,Basic branch 一些 conv residual block, divergence阶段分别得到4个预测。
convergence阶段 通过weight map 进行像素级的fusion.
2.1 divergence阶段的损失函数
一个是重建损失L2, 每个分支单独的各自的损失。
一个是三元组损失,目的是 $I_{d}^i $ 与
I
H
R
I_{HR}
IHR 更接近,$I_{d}^i $ 之间更远
为了是损失更关注纹理细节,而不是颜色,亮度,因此首先转换为 Y 空间,再规范化
再计算残差
然后对 残差建立 三元组损失, 使 $I_{d}^i $ 与 I H R I_{HR} IHR 残差 比 $I_{d}^i $ 与 $I_{d}^j $ 更接近
其中trip
devergence阶段的总体损失
2.2 convergence 阶段的损失函数
收敛阶段就是如总体框架图所示,首先预测 weight map,然后通过weight map进行融合
损失函数使融合后的图像与 gt的L2 范数
3. 示例图
总结,创新点主要就是分别训练多个网络,然后再对各个网络的结果进行fusion. 效果为什么会好? 也许信息融合更多,也许网络模块更多,skip较多。