[阅读笔记]稀疏视图CT重建的基于变换器的迭代重建模型

稀疏视图CT重建的基于变换器的迭代重建模型

该项工作在2022年以论文的形式被MICCAI接收

介绍（摘要）：

稀疏视角的计算机断层扫描（CT）是减少辐射风险的主要手段之一。但稀疏视图CT的重建会受到严重的伪影污染。通过精心设计正则化条款，迭代重建（IR）算法可以取得很好的效果。随着深度学习技术的引入，用卷积神经网络（CNN）学习的正则化项引起了人们的关注，并能进一步提高性能。在本文中，我们提出了一个基于学习的局部-非局部正则化模型，称为RegFormer，用于重建CT图像。具体来说，我们将迭代方案解卷成一个神经网络，并用可学习的核子取代手工制作的正则化项。卷积层被用来学习具有出色去噪性能的局部正则化。同时，变换器编码器和解码器将学到的非局部先验纳入模型，保留了结构和细节。为了提高迭代过程中提取深层特征的能力，我们引入了迭代传输（IT）模块，它可以进一步促进每个迭代的效率。实验结果表明，与一些最先进的稀疏视图CT重建方法相比，我们提出的RegFormer在减少伪影和保留细节方面取得了有竞争力的性能。

摘要描述是使用深度学习工具学习了一个迭代重建过程中的正则化算子(项)，用以优化迭代重建过程。读摘要给我的第一感觉是前两天师兄说的用深度学习作为工具优化传统方法中的可变算子，传统为主，深度为辅助。

本文工作简述：

在本文中，我们提出了一个基于可学习的非局部正则化的新型模型，它被称为RegFormer。我们将梯度下降算法以固定的迭代次数展开到神经网络中。在每次迭代中，我们将迭代结果投射到正弦图域，并通过测量数据计算投射校正。（被抄烂的数据一致性层）我们使用FBP将校正结果反投影到图像域，而不是常用的反投影。事实证明，替换可以加速IR算法的收敛，这对于具有固定迭代次数的unrolled神经网络来说意义重大。每个迭代都使用CNN提取局部特征以去除伪影，或者利用swin-transformer学习非局部正则化以恢复细节。学习到的局部正则化可以有效地去除噪声和伪影。

同时，学习的非局部正则化可以在减少伪影的过程中保留结构。同时，我们注意到，以前的数据到图像的方法中，每个迭代都是独立的，缺乏交流。每个迭代的输入和输出是迭代的图像，是浅层的像素级特征。因此，在迭代模块中，网络提取深层抽象特征的操作受到限制，使得CNN难以提取更深层的特征。对于神经网络来说，去除噪声和获得平滑的图像是一个相对容易的任务，这将在浅层完成，而恢复细节和结构是一个比较困难的任务，需要更深的卷积。因此，提取深层特征的能力较弱，会使重建的图像过于平滑而失去细节。为了解决这一缺陷，我们引入了迭代传输（IT）模块。每个迭代块的中间特征图将被传输并串联到下一个迭代中。IT模块可以提高提取深层特征的性能，获得更好的视觉效果。本文的主要贡献可以归纳为两个方面：

①用CNN学习的局部正则化和用swintransformer学习的非局部正则化可以实现更普遍的先验，这有利于改善展开的迭代重建网络。引入学习型非局部正则化也带来了更好的结构和细节恢复性能。

②IT模块可以连接迭代，以改善深度特征提取和结构保存。

模型方法：

考虑到一个具有Nv个扫描视角和Nd个探测器元素的扇形束CT几何形状，并且体积被划分为m×n的网格，IR算法的一般目标模型可以被表述为如下：

其中，y∈RM1（M1=Nv×Nd）表示测量值，x∈RM2（M2=m×n）表示矢量CT图像，A∈RM1×M2是由几何和体积决定的测量矩阵，R（x）代表正则化项，与权重λ平衡。 

为此提出了一个regformer

为了解决上述最小规划，通常涉及到系统矩阵AT的转置。用A的逆变换（如FBP）代替AT可以获得更好的收敛效率。更快的收敛对于在有限的迭代次数内进行优化是非常重要的。那么，解决上述最小目标的简单梯度下降算法可以表述为：

 其中，α是步长，αt表示其迭代相关的版本。∇xR（xt） 表示R(x)在xt点相对于x的梯度，可以用网络模块代替，A†表示A的伪反转，可以用FBP实现:

 其中h是R-L滤波器，B表示反投影矩阵。卷积和矩阵乘法都是线性算子，而且是可微分的，这使得所提出的网络的梯度反向传播是可行的。如果满足‖I-αA†A‖<1，即使替换破坏了共轭性质，优化也能收敛。而且‖I - αA†A‖可以提供比‖I - αAT A‖更小的估值器，这将导致更快的收敛。

在迭代块中，为了同时学习局部和非局部正则化，我们将迭代转换成两种迭代块。如图1所示，局部正则化是由三个CNN层组成。局部正则化迭代块会产生好的去噪表现，但他导致过渡平滑和细节损失。

为了克服这个缺点，我们引入了swin-transformer来学习非局部正则化。在非局部正则化迭代块中，我们使用卷积层来获得像素级的嵌入，并将嵌入反馈给两个连续的swin变换器块。每个swin-transformer块包括一个基于窗口的多头自注意（WMSA）或基于移位窗口的MSA（SWMSA）模块，然后是一个两层的多层感知器（MLP），中间有GELU函数。窗口合并成特征图后，随后被送入卷积层，我们可以得到单一的图像特征图。这些特征图都是用层归一化（LN）层进行缩放的。(S)WMSA可以学习窗口中像素特征之间的注意力，然后根据学到的注意力聚合像素特征。

因此，非局部正则化迭代块不仅关注局部相邻的像素，还可以研究窗口中任何像素之间的关系，从而获得非局部正则化特征。

 迭代传输工作：在目前基于迭代unrolling的CT重建模型中，迭代之间的特征图是独立的。每个迭代的输入和输出都是迭代的图像，都是浅层的像素级特征。因此，在迭代模块中，对深层抽象特征的提取是有限的。为了在不同的迭代之间建立通信，我们提出了一个迭代传输（IT）模块。该模块如图2所示，为简单起见，省略了卷积以外的结构（包括跳过连接和保真项模块）。在图2中，局部和非局部正则化迭代块被合并，并表示为平行路径。上面的路径对应于局部正则化迭代块，下面的路径是非局部正则化迭代块。在我们提出的本地和非本地迭代块中，有两层的C特征图。我们将第一层的通道数减半，并将特征图与上一次迭代传送的信息连接起来。对第二层特征图进行额外的卷积，得到C/2特征图，这是传送给下一个迭代的信息。

 整体架构。我们提出的RegFormer的整体结构如图3所示。网络的输入是欠采样的正弦图和相应的FBP重建。网络由局部迭代块和非局部迭代块交替组成。迭代次数固定为Nt。每两个相邻的迭代块都与IT模块相连。

学习完这篇文章整体来看 你有效果那你就厉害 没别的

实验评估：

 

 

 

 

[1] Xia W, Yang Z, Zhou Q, et al. A Transformer-Based Iterative Reconstruction Model for Sparse-View CT Reconstruction[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022: 790-800.

无链接无源码 在miccai论文集里看的