[论文笔记] Deep Back-Projection Networks For Super-Resolution

[论文笔记] DPDN

一，主要贡献梳理

1. 误差回传机制：这里是使用了迭代的错误反馈机制，通过计算上采样和下采样单元的投影误差来获得更好的效果。
2. 相互连接的上-下采样阶段：前馈结构可视为一种映射，仅仅将输入的代表性特征到输出空间。这种方法对于LR到HR的映射是不成功的，尤其是大尺度因子，这是因为LR空间的特征局限性。因此我们的网络不仅利用上采样层生成多样的HR特征并且利用下采样层将其映射到LR空间。
3. 深度级联：这里是将不同上采样层的HR特征做concat，放在网络的最后
4. dense连接：特征的复用，提高网络的精度

二，常见SR模型

三，论文模型梳理

1.迭代投影单元

使用原因

反馈网络将预测过程分解为多个步骤，使模型具有自校正过程。

上映射单元定义

这个看起来很复杂，但是其实很容易理解。就是将LR图像先进行上采样得到HR，再进行下采样,将输出和输入的LR计算得到残差，再对残差进行上采样，得到结果与前面的HR进行叠加得到输出结果。上映射单元结构如下所示：

下映射单元定义

需要注意的是，在projection unit使用的卷积层中，卷积核大小是比较大的（8x8或12x12），在其他的网络中，过大的卷积核会导致参数增多，训练变慢，但是因为projection unit的迭代使用，即使在浅层网络中，在大尺度因子下也能表现出更好的性能。

2.Dense映射单元

使用原因

1. 缓解梯度消失问题，增强性能
2. 特征重用，增加精度

与最初的DenseNets不同，论文避免了dropout和batch规范，这些规范不适合SR，因为它们消除了特性的范围灵活性。
原因解释

其中每个单元的输入都是之前所有可用单元输出的迭代,为了保证单元输入和输出通道数一致，这里使用了一个1*1的卷积降低通道数(除了前3个投影单元)。

3.整体框架

整体模块可以分为3个部分

1. 初始特征提取部分: 就是一个3x3(维度：n0)加上一个1x1(维度：nR 降维为投影单元的filter数量。原因：为了配合稠密连接)的卷积
2. 误差回传模块：就是上面迭代投影模块的叠加。(可以看到稠密连接)
3. 重建模块：使用一个 Conv(3,3) 来生成HR大小的图像。

四，loss选择

​ 本文选择的依旧是MSE(L2损失)，原因没有解释

​ 貌似，是根据实验结果发现L2损失更加适合(其实有论文表示L1有时候比较好)

五，实验细节

1. 反射单元的filter size大小与尺度因子有关

2. 基于何凯明的那篇 Delving deep into rectifiers: Surpassing human-level performance on imagenet classification来初始化参数，激活函数均为参数化的整流线性单元（PReLUs）

3. 利用数据集DIV2K、Flickr和ImageNet来训练所有网络。无数据增强

4. 为了生成LR图像，我们使用双三次缩小特定比例因子下的HR图像

5. 模型分析

   1. 深度S (T = 2), M (T = 4), and L (T = 6)
   2. 参数分析
   3. 不同scale的输出
   4. 分析稠密连接的作用

6. 实验结果比较