论文笔记(TransNet)

8.TransENet

1.研究背景：

CNN在模型末端采用上采样层进行放大后就完成了重建，忽略了高维空间的特征提取，从而限制了超分辨性能。

2.存在问题：

现在一般网络都采用后上采样方法完成HR重建，HR图像在上采样层后直接恢复，无需进一步增强特征表达。这种方式不仅增加了训练难度而且限制了重建精度的提高，特别是在有大尺度因子重建要求的情况下。

3.改进思索：

与传统卷积相比，Transformer可以捕获长距离依赖关系，并有效地挖掘高维和低维特征之间的相关性,引入Transformer来利用不同深度的特性，用编码器将多层次的特征嵌入到特征提取部分，用解码器用于融合这些嵌入的编码信息，实现增强上采样层后的高维特征表示。

4.解决方案：

1.特征提取：先利用一个卷积完成初始特征提取，然后使用多个特征提取模块(FEM)从不同尺度提取遥感图像中地面目标的高频细节，FEM中考虑了两个基本组件，包括基本块和剩余块，FEM使用局部跳过连接来降低深度模型的训练难度。

2.特征转换：在低维特征空间中进行特征提取后，利用亚像素层实现低维空间到高维空间的特征转换。

3.多级增强：编码器模块数确定为4个(低维特征嵌入3个，高维特征嵌入1个)，解码器模块数确定为3个，编码器的层数设置为8层，解码器的层数设置为1层。通过利用多个编码器对不同层次的特征进行编码，同时使用多个解码器来融合和调整编码的特征。

4.图像重建：用一个卷积层完成超分辨重建。

5.成果对比：

6.特点总结：

1.提出了一种新的遥感图像SR框架TransENet，引入Transformer提升遥感图像SR网络性能。

2.设计了一种基于Transformer的多级增强结构，该结构由多个编码器和解码器组成，可以与大多数基于后上采样框架的SR方法相结合。

3. 提出的模型可以隐式地学习不同标记之间的位置信息，以最小化训练阶段的像素级损失函数，因此不需要添加学习到的位置编码。