阅读笔记(五)：Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

Dual Residual Networks文章中去雨线部分的阅读笔记

原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

原文代码github

博主的阅读笔记：

• Gaussian&real-world noise removal（去噪任务阅读笔记）

• motion blur removal （去运动模糊任务阅读笔记）

• haze removal （去雾任务阅读笔记）

• raindrop removal （去雨滴任务阅读笔记）

• 笔记总结（五种任务的对比）

---

---

去雨线（Rain-streak Remova）

网络设计

文献[23]表明，利用全局信息对特征图进行选择性加权的机制能有效地完成这一任务。借用这一思想，本文使用了一种基于通道的注意力机制来执行类似的特征加权。该任务的网络总体设计类似于高斯噪声去除的DuRN-P。不同的是，本文使用DuRB-S替代DuRB-P来使用注意力机制。

DuRB-S

其中：

​ $c$ 为卷积层，$T_1^l$ 和 $T_2^l$ 为两个成对操作。

​ $T_1^l$ ：一个卷积层（$c{t}_1^l$ ）

​ $T_2^l$ ：通道注意（ channel-wise attention，se）+ 一个卷积层（ $c{t}_2^l$）

​ $T_2^l$ 中的se如图所示：

fc为nn.Linear()，即全连接层（fully connected layer）

特别地：channel-wise attention使用的是SE-ResNet的SE模块。

​ SE-ResNet论文：Squeeze-and-excitation networks（该论文对通道注意(CA)的机制原理讲的非常具体，建议阅读）。文献是用于分类任务，提出了新的架构单元，即“Squeeze-and-Excitation”(SE)块，这项工作拿到了ImageNet2017 image classification 的冠军。

另外：博主也在另一篇博客对CA进行了粗略的解释，或请移步RCAN阅读笔记(CA讲解在目录可直达Channel Attention（CA）)

$c{t}_1^l$ 和 $c{t}_2^l$ 的具体细节：

与DuRB-P的设置相同，注意此时的任务是用DuRB-S：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H3KI1az1-1587974967888)(DuRN-S.assets/P_1.jpg)]

RuRN-S

文中：网络总体设计类似于高斯噪声去除的DuRN-P，使用DuRB-S替代DuRB-P。

因此这里给出DuRN-P的网络结构图

损失函数

​ SSIM和 $l_1$ 损失的加权和

数据集

在两个数据集上训练和测试DuRN-U的性能：

1. DDN-Data

包含9100对有雨和清晰的训练图像和4900对有雨和清晰的测试图像。

2. DID-MDN Data

   包含12000对训练图像，1200对测试图像。

实验设置

Experimental Setting on DDN Data

训练中，设置batch size = 40，input size = 64x64（通过对原始训练图像随机裁剪获得）

Experimental Setting on DID-MDN Data

训练中，设置batch size = 80，input size = 64x64（通过对原始训练图像随机裁剪获得）