论文笔记（SRAGAN）

11.SRAGAN

1. 创新点：

1.提出了一种基于注意力的遥感图像（SISR）SR模型。该模型同时应用了局部和全局注意力机制。局部注意力可以帮助模型聚焦于重要通道和区域，以促进多尺度场景的感知逼真纹理，而全局注意力用于捕捉通道和空间维度的长期相互依赖性，以细化重建细节。

2.在对抗性学习框架下，在判别器模型中使用局部和全局注意块(GABs)来增强判别能力。结合L1像素损失、L1感知损失和对抗损失来约束SR过程的不同方面，并以铰链损失的形式应用相对论性对抗损失和梯度惩罚来优化对抗学习过程。

3.我们使用大量不同的遥感图像训练我们的方法，并评估其在不同类别图像上的性能。SRAGAN比最先进的基于CNN的方法性能更好。此外，通过消融实验探讨了应用注意力块的不同方式、局部注意力的池化操作、不同的噪声水平、多重损失函数和对抗性学习算法的影响。

2. 整体网络结构：

发生器：

采用渐进式上采样架构，在LR特征空间上执行大部分操作来提取和估计特征，然后应用几个端到端可学习的上采样块来逐步提高分辨率。

总共分为四步：1.浅层特征提取；2.深层特征提取；3.应用注意力特征增强；4.上采样。

判别器：

一些研究表明，普通的GAN鉴别器并不适合要求高分辨率和高质量细节的图像任务。因此，该网络的判别器模型从输入图像映射到一个M × N判别矩阵，矩阵中的每个值都可以追溯到输入图像中的一个小补丁，并表示该补丁是真还是假，这可以使生成器模型更加关注不同区域的图像细节。

损失函数：

1.选择L1-wise的像素损失来评估超分辨图像与ground-truth图像像素值的差异。

2.使用预先训练好的19层VGG网络来提取特征图，发现在SRGAN中，在激活层之前的特征上定义感知损失的结果证明了非常深的网络之后的激活特征非常稀疏，导致性能较差。因此，该网络使用在第11个卷积层(ReLU激活层之前)提取的特征来计算L1的感知损失。

3.应用相对的GAN的思想，并尝试预测真实图像相对于生成图像更真实的概率，LossD为判别器的损失。

4. 小模块：

RDAB和RAB：每个RAB都可以访问所有后续RAB，我们将之前所有RAB的输出串联起来作为当前RAB的输入，形成密集连接。

考虑SR模型中局部区域的长期相互依赖性，在SRADAN模型中引入了两种注意模块，分别是LAB和GAB。

局部（CLAB,SLAB）：仅采用平均策略会削弱显著特征，因此，使用max-pooling来收集关于不同对象特征的另一个重要信息来推断注意图，实验证明max-pooling特征可以补偿平均pooling特征来推断更精细的细节。

全局（CGAB,SGAB）：GAB是LAB的补充，有助于建模跨图像通道和位置的远程和多层次相互依赖关系，旨在捕捉丰富的上下文关系，以更好的特征表示。某一位置的特征是通过对所有位置的特征进行加权求和来更新的，加权求和通过对应两个位置的特征相似度来计算权重。任何两个具有相似特征的位置，无论它们在空间维度上的距离如何，都可以相互促进。

5. 实验对比

训练：使用LossG对生成器进行优化。对于鉴别器模型，在LossD中加入梯度惩罚项作为正则化项，对鉴别器的梯度范数相对于其输入进行惩罚。

1. 随着RDB个数的增加，eras和LPIPS逐渐降低，这是由于RDB个数的增加，我们的SRAGAN在RDB个数为12或16效果最佳。

2. 应用LAB可以有效地提高SR性能，采用LAB和GAB级联结构的模型对小尺度对象的识别能力更好，构造的细节更清晰。

3. 基于注意力的方法通常采用平均池化策略，可能会削弱显著特征，该网络使用最大池化操作来收集关于不同对象特征的另一个重要线索来推断注意力。将平均池和最大池相结合，可以平衡二者的优势，使用两种池化操作(Avg | Max)的模型获得了最好的HR结果，其HR结果受高斯白噪声的影响也相对较小。

4. L1-L1-adv损失能更好地平衡失真和感知质量。

5. 即使不使用对抗学习算法，SRRDAN仍然比ESRGAN和RCAN有更好的PSNR、SSIM、ERGAS和LPIPS，证明了提出的SRRDA的优越性。

6. 学习总结：

1. 由于遥感图像中比自然图像(如沙漠和海滩区域)有更多的平坦区域和更多的低频图像分量，因此设计更好的损失函数，增强不同场景的判别能力对于SISR方法来说仍然非常重要。

2. CAB被设计为在给定输入特征映射的情况下关注哪个通道是重要的，而SAB则学习关注哪个位置。

3. 梯度惩罚：在生成对抗架构下训练模型是困难和不稳定的，因为它需要在鉴别器和生成器的训练中保持谨慎的平衡，并且经常产生较差的结果或无法收敛。该网络在测试数据集上评估生成器的性能。虽然其他工作通常根据epoch或迭代的数量调整学习率，但我们一旦SR评估指标在最近5个epoch内没有改善，就会将学习率衰减一个因子gamma。梯度惩罚项定义为梯度绝对值上的铰链损失：用一个随机权重项θ对真实的和生成的HR图像进行插值，然后得到判别器相对于插值的梯度。（看的不是很明白）。应用梯度惩罚有助于加快训练过程，大大减少了GAN中典型的模式崩溃现象。

4. 感知损失鼓励输出图像在感知上与目标图像相似，而像素损失则试图迫使输出图像与目标图像完全匹配。

当SR算法达到权衡曲线的边界时，它只能在其失真方面或在其感知质量方面得到改进，这是以牺牲另一个为代价的。