论文笔记(WTCRR)

12.WTCRR

1.创新点：

1.在深度学习框架下，提出了一种基于频域的SISR方案，充分利用了图像在不同频段的描述潜力。

2.采用全局和局部两种方式的递归块和残差学习，简化了深度网络的训练，去掉了批归一化层（BN），在卷积层之后应用激活操作，增加了网络的灵活性，节省了内存，提高了速度。

3.将低频小波分量替换为更详细的LR图像，进一步提高性能。

4.以更少的伪影产生更令人信服的结果，同时比比较先进的方法重建更多增强的边缘。

2.整体网络结构：

平均分量、垂直分量、水平分量和对角线分量，分别写为LL、LR、HL和HH，利用小波变换，将图像分解为低频部分的LL部分，高频部分的LH、HL和HH部分，这些部分也提供了结构信息。

1. 利用双三次插值放大IL，比例因子为×s，得到ILR。

2. 利用单层二维离散小波变换(DWT)将LR图像分解为LR小波分量的4个子带，并将低频子带替换为LR图像。

3. 四个子带的组合馈送到下面设计的网络中，利用递归残差学习的深度网络对HR小波分量的四个对应子带的残差进行预测。

4.利用2D-DWT逆变换得到重构后的HR图像。

3.小模块：

单层2D-DWT：可分为两步。首先，每一行(大小为m × n)进行1D-DWT，生成2个中间子带[大小为m × (n/2)]。然后再对两个中间子带按列方向进行1D-DWT，得到4个小波子带[大小为(m/2) × (n/2)]。

1.在该方法中，输入为四个LR小波分量ILRLL、ILRLH、ILRHL、ILRHH，输出为对应的HR小波分量IHRLL、IHRLH、IHRHL、IHRHH;因此，所提出的网络中有4个输入输出通道。

2. 在该网络中采用了LRL和GRL，充分发挥了各自的优势。

4.实验结果：

5.学习总结：

1.小波变换(WT)具有提取细节和多分辨率分析的特点，常用于信号处理。WT能够在不同级别上描述图像的上下文和文本信息，并已被证明是表示和存储多分辨率图像的高效和高度直观的工具。在频域恢复丢失的高频信息似乎更直接，但这种技术在基于dl的SISR方法中被忽略了。

2. 在小波域重构红外图像序列，显著提高了空间分辨率。

3. 通过对小波分量的准确预测，可以从LR图像中恢复出具有丰富纹理细节和全局拓扑信息的高质量HR图像，HR图像的重构过程可以转化为预测其小波分量的过程，可以借助CNN模型强大的特征提取和表示能力。

4.由于ILRLL包含的信息比IL少，因此将低频部分ILRLL替换为LR图像IL作为网络的输入，可以进一步提高超分辨图像的质量。

5.残差路径有助于学习高度复杂的特征，而恒等路径有助于梯度反向传播。

6.合理的去除BN层有助于提升恢复效果和减少参数量加速训练。

6.启发：

尽管WTCRR方法性能良好，但在重构过程中仍会丢失一些详细信息。迁移学习是这一问题的潜在解决方案，将在今后的工作中进行研究。