DSFormer: A Dual-domain Self-supervised Transformer for acc Multi-contrast MRI Re---文章阅读记录

目录

文章地址

创新点

优缺点

文章架构

实验细节

实验结果

消融实验 

---

文章地址

paper：WACV 2023 Open Access Repository (thecvf.com)

创新点

1、多对比度信息共享

与以往的初始零填充混叠图像重建不同，作者将不同于重建加权方式的全采样的k空间嫁接到欠采样的为获取的k空间部分，给重建网络提供一个去混叠和正确解剖结构的起点。此后，作者还将参考的图像与输入图像concat进入图像重建网络。

2、对于MRI重建的vision transformer

提出了一种高保真MRI重建的Deep Conditional Cascade Transformer，开发了一种基于Swin transformer的SwinRN重建网络，用于DCCT的骨干。

3、双域自监督学习

使用图像域和k空间域的自监督学习，兼顾图像域和k空间域的损失回传。

优缺点

优点：多对比度MRI图像具有相同的解剖结构，这样间隙填充对比零填充可以有正确的解剖结构、更少的伪影，作为网络重建的输入，可以使网络更专注于对比度转换而不是消除锯齿伪影。

缺点：需要已知指导图像全采样数据。

文章架构

the Dual-domain Self-supervised TransFormer (DSFormer)

一、Deep Conditional Cascade Transformer

1.Deep MC-MRI Conditioning：

对于MC-MRI Conditioning，作者使用了两个调节方法：KF（间隙填充）和CC（通道合并）。

对于KF，虽然多对比MRI描绘成像组织的不同生理特性，导致图像各部分对比度不同，但多对比度MRI图像具有相同的解剖结构。这样间隙填充对比零填充可以有正确的解剖结构、更少的伪影，作为网络重建的输入，可以使网络更专注于对比度转换而不是消除锯齿伪影等。作者列出了一个具体的例子如图下所示（左一为PD加权全采样参考图像，左二为T2加权零填充图像，左三为T2加权参考图像间隙填充图像，左四为T2加权全采样图像）：

 

对于CC，作者将参考图像和间隙填充后的图像通道合并，作为SwinRN的输入。

对于KF和CC 两种调节方法的重要性，后续消融实验给出结论。

2.Swin Transformer Reconstruction Network

Swin Transformer Reconstruction Network (SwinRN)

 

SwinRN作为DCCT的主架构，该网络的流程图可以用以下公式代表:

其中，PIFE,PDFE,PIR为3x3卷积。后续Swin Transformer架构部分不在此做过多描述。

二、Dual-Domain Self-Supervised Learning

为了以自监督方式训练DCCT，作者使用了图像域和k空间域双域的自监督模式。在training中，欠采样的ytag经过两个互不重叠的M1和M2两个mask（M1+M2=Mtag，Mtag是欠采样的mask）得到yp1和yp2两路并行的初始。（训练时，M1 M2在[0.2，0.8]之间）

后经过DCCT后产生Xp1和Xp2，

此时Xp1与Xp2之间做外观一致性loss，经FFT后交叉使用M1或M2后，回传产生频率域数据一致性loss。双域loss分配权重后相加得到该自监督网络的损失函数。

外观一致性损失（v，h分别为垂直和水平梯度运算符）：

数据一致性损失：

其中，。

实验细节

数据集：IXI的T2加权与PD加权磁共振图像。共11808张，8376张用于训练，1080张用于验证，2352张用于测试。https://brain-development.org/ixi-dataset/, CC BY-SA 3.0 license

显卡: NVIDIA Quadro RTX 8000 GPU with 48GB memory

学习率：0.0004

batach_size：3

Number（SwinRN，SwinTB，SwinTL）  =  3，4，4

实验结果

下图中，粗体方法为监督训练，下划线方法为自监督训练。

 Target:T2w I Reference:PD   代表T2加权为欠采样图像，PD加权为参考图像进行训练以及测试。

消融实验 

一、双域自监督

 二、深度MC-MRI调节及 监督DAFormer vs. 自监督DAFormer

 三、级联SwinRN数量的影响

--------------------------------------------------------------------------------------------

本文章作者未公布源码。

如有理解错误之处欢迎指正。