8.TransENet
1.研究背景:
CNN在模型末端采用上采样层进行放大后就完成了重建,忽略了高维空间的特征提取,从而限制了超分辨性能。
2.存在问题:
现在一般网络都采用后上采样方法完成HR重建,HR图像在上采样层后直接恢复,无需进一步增强特征表达。这种方式不仅增加了训练难度而且限制了重建精度的提高,特别是在有大尺度因子重建要求的情况下。
3.改进思索:
与传统卷积相比,Transformer可以捕获长距离依赖关系,并有效地挖掘高维和低维特征之间的相关性,引入Transformer来利用不同深度的特性,用编码器将多层次的特征嵌入到特征提取部分,用解码器用于融合这些嵌入的编码信息,实现增强上采样层后的高维特征表示。
4.解决方案:
1.特征提取:先利用一个卷积完成初始特征提取,然后使用多个特征提取模块(FEM)从不同尺度提取遥感图像中地面目标的高频细节,FEM中考虑了两个基本组件,包括基本块和剩余块,FEM使用局部跳过连接来降低深度模型的训练难度。
2.特征转换:在低维特征空间中进行特征提取后,利用亚像素层实现低维空间到高维空间的特征转换。
3.多级增强:编码器模块数确定为4个(低维特征嵌入3个,高维特征嵌入1个),解码器模块数确定为3个,编码器的层数设置为8层,解码器的层数设置为1层。通过利用多个编码器对不同层次的特征进行编码,同时使用多个解码器来融合和调整编码的特征。
4.图像重建:用一个卷积层完成超分辨重建。
![](https://img-blog.csdnimg.cn/img_convert/420c0e1320db9d30244969cbba472a06.png)
![](https://img-blog.csdnimg.cn/img_convert/fb037cb346a49ea7998b7d564c2a63c6.png)
![](https://img-blog.csdnimg.cn/img_convert/8db310472dfd1b39d44595276bbd7b66.png)
5.成果对比:
![](https://img-blog.csdnimg.cn/img_convert/449f0d8977d06b1843f37e531ca1bc4b.png)
![](https://img-blog.csdnimg.cn/img_convert/7a5465f1afc04a3b7e9c439a6a188092.png)
![](https://img-blog.csdnimg.cn/img_convert/91f62f869f57aa3d8f59a53e3bc7ceed.png)
![](https://img-blog.csdnimg.cn/img_convert/9ae180929e73430577d83ee06663979e.png)
![](https://img-blog.csdnimg.cn/img_convert/8fa4de3fe83ac0028f4074511f88baa7.png)
![](https://img-blog.csdnimg.cn/img_convert/05d233812096f8522dc0171b7984e521.png)
6.特点总结:
1.提出了一种新的遥感图像SR框架TransENet,引入Transformer提升遥感图像SR网络性能。
2.设计了一种基于Transformer的多级增强结构,该结构由多个编码器和解码器组成,可以与大多数基于后上采样框架的SR方法相结合。
3. 提出的模型可以隐式地学习不同标记之间的位置信息,以最小化训练阶段的像素级损失函数,因此不需要添加学习到的位置编码。