HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening

HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening

HyperTransformer:用于全色锐化的纹理和光谱特征融合Transformer

来源：CVPR2022
Transformer已经用到了全色锐化领域了~~~文章一直说是全色锐化，代码显示是对HRHSI高斯模糊下采样得到LRHSI，选HRHSI三个波段拼接得到三波段图像，将这两者融合。HyperTransformer在本文中被当作注意力使用，相比于其他注意力机制，HyperTransformer得到的图像空间和光谱失真更小。
代码：https://github.com/wgcban/HyperTransformer

摘要

本文提出了一种新的全色锐化注意机制，称为HyperTransformer，它将LR-HSI和PAN的特征分别表示为Transformer中的查询和关键字。HyperTransformer由三个主要模块组成，即两个独立的PAN和HSI特征提取器、一个多头特征软注意模块和一个空间-光谱特征融合模块。这样的网络通过学习PAN和LR-HSI的交叉特征空间相关性和长程细节，改善了全色锐化HSI的空间和光谱质量度量。此外，可以在主干上跨多个空间尺度使用HyperTransformer，以获得更高的性能。

传统的全色锐化方法的两种融合方式：

利用HyperTransformer进行融合：HyperTransformer被当作注意力增强全色图像纹理特征，增强的特征与主干网络提取的LRHSI的光谱特征相加，然后进行纹理光谱特征融合（卷积+BN的网络），得到增强的特征表示


三个HyperTransformer（红色块）的输入为三个尺度的QKV，三个尺度的Q由HSI特征提取器得到，KV由PAN特征提取器得到。下方是HSI特征提取器，PAN特征提取器的结构示意图，特征提取器的结构类似于VGG网络。上面是融合过程的总体结构，LRHSI经过特征提取器（结构见代码）得到初始的主干网络特征，主干网络特征与HyperTransformer得到的增强纹理特征结合得到增强的特征表示（红线部分）。增强的特征表示与主干网络特征相加，经过残差块（RBs）进入下一级网络。三个尺度的特征整合经过残差块得到HRHSI。

HyperTransformer的详细结构。绿色块PAN特征提取器，橘色块HSI特征提取器。
多头注意力帮助网络提取PAN和LR-HSI之间的跨特征空间依赖性以及PAN的长距离细节（都是self-attention自带的优点…）

QKV的宽高一样，3D张量被rehape为2D，经过全连接变成一组（N个）QKV，N为多头注意力头数。

传统self-attention直接Q与K的转置相乘，本文搞了个交叉相关嵌入（C为计算公式）。换种方式衡量QK相似性，和self-attention一样使用softmax

softmax后的注意力权重C对V加权，reshape一下，然后消掉头数。其实HyperTransformer就是对PAN使用注意力的过程

TSFF就是加权的PAN和主干网络特征融合。

三个损失函数：重建损失就是参考图像和重建图像的损失。VGG感知，也比较常用，参考图像和重建图像经过VGG网络，分别计算每层损失。Transfer感知，HSI特征提取器的每层经过和Transformer每层的损失。总损失是以上三种的加权求和。
三个数据集，注意数据的生成方式。


红色最好值

HYperTransformer消融
N值（head）消融研究，16效果最好
三个尺度的消融研究

损失函数消融研究

个人总结，欢迎批评指正~~，谢谢