MATR:多尺度自适应变压器的多模态医学图像融合

一、摘要

卷积运算可以很好的提取局部模式，但保留全局上下文信息的能力有限。提出一种新的无监督方法，通过多尺度自适应变压器MATR来融合多模态医学图像。引入了一种基于全局互补上下文自适应调制卷积核的自适应卷积。采用了自适应Transformer来增强全局语义提取能力。提出结构损失和区域互信息损失

二、相关工作

提出了一种patch Pyramid Transformer (PPT)，利用patch Transformer将图像转换成一系列的patch，并利用Pyramid Transformer从整个图像中提取非局部信息；提出了一种结合Transformer和GAN的红外和可见光图像融合方法；提出了一种分层变压器(即Swin Transformer)，其中采用移位窗口来计算表示；提出了一种基于Swin Transformer的图像恢复SwinIR，其中设计了多个残差Swin Transformer block (RSTB)作为深度特征提取模块，每个RSTB具有多个Swin Transformer层和一个残差连接；利用RSTB融合红外和可见光图像，开发了一个纯Transformer网络，称为SwinFuse；

本文提出的方法;

为了充分提取局部和全局互补信息。设计了自适应调制卷积核的自适应卷积（AC），使用自适应模块进行远程依赖关系的建模，采用不同深度的多尺度设计，结构性损失和特征级损失。

（1）总体框架

AC自适应卷积：b图

（2）损失函数：

：结构级损失（保证具有足够的结构细节）和区域级损失