IntraTomo：基于自监督学习的基于正弦图合成和预测的断层扫描

摘要

作者提出的IntraTomo结合了基于学习和基于模型的方法的优点，用于解决计算机断层扫描 (CT) 环境中高度不适定的逆问题。由两个核心模块组成，相互迭代应用：

1. 新颖的正弦图预测模块：在该模块中，未知密度场（其实就是该模块中的神经网络的输出层，似乎是一种特定的输出格式，目前猜测是最终要的处理结果的迭代间产出图像）被表示为一个连续且可微的函数，由深度神经网络参数化。该网络以自我监督的方式从不完整或/和退化的输入正弦图中学习。
2. 几何细化模块：经过上述模块的估计后，密度场在该模块中使用局部和非局部几何先验一致地细化。

通过这两个核心模块，作者表明 IntraTomo 在几个不适定逆问题上显着优于现有方法，例如范围为 45 度的有限角度断层扫描、少至八个视图的稀疏视图断层扫描或超分辨率断层扫描分辨率提高八倍。模拟和真实数据的实验表明，作者的方法可以取得前所未有的质量结果。

介绍

找了点关键的句子，有相关基础的同学直接看第四段：

断层扫描技术对扫描对象从不同角度的一组投影进行操作。应用重建算法从这些投影中检索表示对象的密度场。

在数学上，重建过程是一个逆问题，其中 Nv 个未知数（表示对象的像素数/体素数）使用 Nθ ×Np 已知参数（投影数乘以每个投影的像素数）计算。理想情况下，采集过程提供了大量在角空间上均匀采样的投影。

然后就说有限角和稀疏视图这两种情况说明了断层扫描问题变得高度不适定和不确定的示例。前人从两方面入手解决。一个是基于模型的优化方法，一个是深度学习方法。

然而，最近的研究表明，基于 NN 的方法无法恢复目标的高频细节，因为可以观察到这些网络的特征值谱快速衰减，这被称为“光谱偏差”。为了克服这些偏差的限制，提出了一些基于坐标的神经方法。通过这种强大的表示，可以提供未知目标的自然连续版本。

将最近的基于坐标的神经方法（coordinate-based neural approaches）结合到 IntraTomo 的前向后向优化框架中，该方法充当正弦图预测先验。通过结合正弦图预测先验和几何细化先验，作者成功地结合了基于模型和数据驱动技术的优势，以解决各种断层成像任务。

主要贡献：

1. 提出了一种新颖的自我监督断层重建框架，该框架仅使用目标物本身的投影作为训练数据。该框架是第一个以自我监督的方式成功结合基于学习和基于模型的方法的优势的框架。
2. 作者在几个具有挑战性的不适定断层扫描问题上展示了最先进的结果：有限角度断层扫描、稀疏视图断层扫描和超分辨率断层扫描。作者使用广泛的 2D 和 3D、模拟和真实 CT 数据的定量和定性指标验证了与多种最先进的基线方法相比的改进。
3. 作者展示了提出的框架解决投影空间中的逆问题的能力，例如正弦图外推、修复、超分辨率和去噪。

优化框架

1. 系统概述

IntraTomo 由两个互补的模块组成，它们被迭代应用：正弦图预测模块和几何细化阶段（见图 2）。第一个模块接收根据前面描述的一个具有挑战性的 CT 场景获取的输入 CT 测量值。使用基于坐标的表示和可微投影模型，在正弦图预测模块中训练了一个完全连接的多层感知器（MLP）。该网络以自我监督的端到端方式进行训练，允许估计扫描对象密度场的基于坐标的表示。因此，可以合成新的 CT 测量值以使逆问题适定（怎么变成适定的？）。

在这第一步之后，估计的密度场用于初始化第二个模块的前后向优化。这个几何细化模块旨在通过合并不同的几何先验来迭代地提高密度场的质量。引入了一个总变化和一个非局部均值正则化器，分别在当前工作中的局部和全局级别上起作用。获得的密度场用于获取新的合成投影。通过将这些投影添加到捕获的投影中，得到一个新的正弦图，将其作为输入传递给正弦图预测模块，以改进预测结果。在框架的两个模块之间进行几次迭代后，结果显着提高。下面，我们将更详细地介绍作者的框架。

图2. 框架描述图

2. 框架细节

2.1 正弦图预测模块 Sinogram prediction module.

正弦图预测模块是一个自监督的端到端网络，用于从获取的 CT 投影中合成缺失的信息。它由四个不同的（组）层组成：输入层（input layer）、傅里叶特征投影层（Fourier feature projection layer ）、隐藏层（Hidden layers）和可微投影层（Differentiable CT projection layer ）。

输入层（input layer）

给定的扫描对象通常由 2D/3D 离散密度场 V ∈ 表示。其中是离散空间的像素/体素的数量。请注意，在下文中，将使用 3D 情况的符号。尽管如此，应用框架来重建二维密度场是很简单的。将  = (xi, yi, zi) 定义为与第 i 个像素/体素相关的坐标域中的点。的正弦图预测模块的主要任务是学习坐标 ()i=1..Nv 和密度场 V 之间的映射函数 （见公式如下）。这是通过找到最佳参数集来完成的。因此，我们系统的输入层是三维坐标点 。

傅里叶特征投影层（Fourier feature projection layer ）

傅里叶特征投影（FFP）是一种首先用于自然语言处理和时间序列分析的技术，最近被引入隐式表示。它包括将低维输入点 映射到更高维向量 M()，该向量对正弦和余弦特征（也称为高斯随机傅立叶特征）进行编码。该编码层的使用对于检索要重构的信号的高频细节至关重要。该映射由函数 M(.) 给出，如下所示：

上式中，B ∈ 是从高斯分布 N (0, ) 中随机采样的频率向量。标准偏差 σ 是一个超参数，用于控制网络可以表示的频率。如果选择较低的 σ 值，则重建的密度场可能会过度平滑，而较高的 σ 值可能会产生过度拟合和噪声结果。在实践中，应该针对每个不同的任务调整这个超参数。

隐藏层（Hidden layers）

隐藏层由七层 MLP 组成。前六层中的每一层都有 256 个神经元，而最后一层只有一个神经元。在该网络的每两个连续层之间应用一个 Swish 激活函数。事实上，通过实验发现，在高度欠定的逆问题中，例如本文中的 CT 应用，Swish 非线性函数的性能优于 ReLU 函数（请参阅消融实验）。最后，将 Sigmoid 激活应用于最后一个隐藏层的输出。该 MLP 的输入是来自前一层的高斯随机傅里叶特征。 MLP 从输入层预测坐标点 位置对应的密度场 Vi。

可微投影层（Differentiable CT projection layer ）

这一层实现了一个可微的投影模型。由于在断层扫描问题中的 CT 测量值是投影（即正弦图），因此这一层的主要目标是将先前层获得的密度场（即CT图像格式）映射到正弦图域。在这一层应用了一个可微的 CT 投影算子来计算密度场的 Radon 变换。在这一层中，根据角度范围的均匀和（and）密集采样来投影密度场：平行光束采集场景中的 θ ∈ [0, π] 或扇形/锥形光束场景中的 θ ∈ [0, 2π] 。训练后，这一层让可以完全控制正弦图中投影的数量和采样，从而可以合成新的投影以增强捕获的 CT 测量值。则 CT 重建问题可以适定。此外，通过这一层，还可以控制投影的分辨率，这将用于超分辨率断层扫描场景。

损失函数（loss function）

在可微 CT 投影层（4）之后获得的投影与扫描期间获得的投影（原始投影）之间使用 L2-loss 来训练正弦图预测模块。

2.2 几何细化模块 Geometry refinement module.

通过合成新的 CT 测量值，借助正弦图预测模块，的框架在一定程度上恢复了角/频域中损坏或丢失的 CT 信息。得到了改进的重建密度场。但是，在空间（即三维图像）域中仍有细化重构的空间。为此，作者提出了一种基于优化的几何细化模块。该模块将局部和全局结构先验结合到一个优化框架中，以细化空间域的重建密度。该几何细化模块可以表示为以下优化问题：

其中 V ∈ 是密度场。 f(·)是一个L2范数数据保真项（DFT），由两部分组成：

DFT 的这两部分分别测量了从密度场 V 与 CT 扫描仪 ((·)) 捕获的投影，以及从正弦图预测模块 ((·)) 获得的投影之间的差异。 W 是基于置信度的权重矩阵。它的每个条目都在 [0, 1] 范围内，并且对应于与来自正弦图预测模块的给定合成视图相关联的权重。

等式中的 TV(·) 对应于总变化正则化器，被选为先验的局部结构。而 NLM(·) 是非局部均值先验 [11, 33, 1]，旨在在全局级别对几何信息进行正则化，以增强密度的全局几何信息，如图 2 所示。k1 和 k2 分别是TV 和 NLM 正则化器在优化中的相对权重。重建过程首先使用作为隐藏层输出的密度场进行初始化（参见图 2）。然后，作者使用向前向后分裂求解器迭代更新它。使用这种优化算法的主要优点是它可以灵活地将不同的正则化器合并到优化框架中。因此，如果需要，以后可以直接添加其他面向任务的正则化器。

实验结果

基准（Baselines）

 将本文提出的方法与六种基线技术进行比较。第一种方法是 FBP 重建方法（即 3D 中的 FDK），因为它仍然是最流行的断层重建算法。第二个基线是 SART，一种鲁棒的迭代重建算法，它很灵活，可以适应不同的相机模型和应用程序。 TV 正则化算法被用作第三个基线（TV）。随机原始对偶算法（Stochastic）被选为第四个基线，因为它在任意采样数据上具有良好的性能。深度形状先验（Deep prior）被选为无监督状态学习技术。本文方法没有几何细化优化（Ours (no g.r.)）作为消融研究包含在比较中，以说明 IntraTomo 的每个模块的影响。最后，Ours（full）指的是完整的框架IntraTomo。

细节（detail）

Adam（0.001）；256*256数据块

4.1 消融实验

傅里叶特征投影的影响

为了证明在正弦图预测模块中使用 FFP（傅里叶特征投影）层的重要性，在使用 (W/) 和不使用 (W/o) FFP 层的情况下运行框架。本实验中使用的数据对应于 PET 体模的正弦图。仅使用正弦图中的前 120 个角度来模拟有限角度场景。作者还在正弦图中添加了标准差为 5 的高斯白噪声。图 3（顶部）中提供的结果清楚地显示了 FFP 层的影响。该层允许更好地重建密度场和正弦图的高频特征。这导致 PSNR 提高了 6.38 dB。

图3. 消融实验

Swish 激活的影响 

对于高度不适定的问题，Swish 激活函数优于 ReLU 函数。作者使用稀疏视图场景将这两个激活函数与 SheppLogan 幻像 (SL) 的正弦图进行视觉比较，其中只有五个捕获的投影和高斯白噪声 (std = 1) 添加到数据中（参见图 3 底部）。尽管使用 Swish 仅将 PSNR 提高了 0.52 dB，但与使用 ReLU 的重建相比，可以直观地注意到重建质量要好得多。

几何细化先验的影响

在图 4 和图 5（最后三列）中展示了应用几何细化先验的优势。补充中提供了额外的结果和广泛的分析。

图 4.稀疏视图断层重建。从上到下：分别使用 8、20、20 和 20 个 180 度以上的稀疏视图进行重建。表 1 中显示了每种方法的 PSNR(dB) 和 SSIM。为了可见性，重新调整了输入正弦图并将不同的颜色图分配给不同的数据集。

 

表1.  每种方法的 PSNR/SSIM 测量值。

4.2 场景应用

稀疏视图断层扫描

使用 Shepp-Logan 模型(SL) 以及来自 BrainWeb 数据库、A TLAS 数据集和 Covid-19 数据集的数据在稀疏视图设置上评估 IntraTomo。结果如图4（细节及分析参考原文）        

有限角度断层扫描

是第一个解决角度限制在仅 45 度范围内的具有挑战性的案例并获得令人满意的重建结果的。此外，框架不需要任何预训练或额外的标记数据。结果如图5（细节及分析参考原文）        

图5. 有限角度断层扫描重建，其中输入测量值分别从 Sheppe-Logan（第一行）、LoDoPaB-CT 数据集（第二行）的 45°、45°、60° 和 90° 角度覆盖范围内捕获、Pepper 数据集（第三行）和玫瑰数据集（最后一行）。每种方法的 PSNR(dB) 和 SSIM 如表 1 所示。为了更好的可视化，重新调整了输入正弦图并将不同的颜色图分配给不同的数据集。

投影域应用

该框架在解决不适定问题方面的高性能也可以在正弦图（投影）域中观察到。事实上，每个具有挑战性的 CT 场景都可以在正弦图域中被解释为经典的视觉任务。

稀疏视图设置可以看作是正弦图修复或插值问题。有限角度断层扫描对应于正弦图外推任务。最后，超分辨率断层扫描与投影上的超分辨率问题不谋而合。

在图 8 中，作者展示了框架的结果，显示了正弦图并将它们与其他基线方法进行比较。对于这些基线方法，在重构的密度场重新投影后，得到在 [0, π] 中均匀采样的 180 个投影的完整正弦图。图 8 中的实验对应于：仅使用 20 个投影作为输入的正弦图修复（在 [0, π]之间均匀采样），使用范围为 [0, ]的 45 个投影作为输入的正弦图外推，超分辨率任务系数为 8，正弦图从高斯白噪声（std = 15）的损坏投影中去噪。更多结果可以在补充中找到。

图 8. 在投影域中可视化结果。针对图像上的每种方法都给出了 (PSNR(dB)/SSIM) 测量值。

结论

提出了 IntraTomo，这是一种基于自我监督学习的框架，适用于高度病态的 CT 成像场景。作者在各种合成和真实数据上展示了其框架，并在数量和质量上与多种最先进的方法进行了比较。本框架的成功依赖于两个新颖的模块：

首先，一个正弦图预测模块，它通过隐式表示具有连续和可微函数的密度场而不是离散体素网格来合成和预测丢失的投影图像。

其次，使用几何细化模块，包括局部和全局几何先验，以向前向后的方式改进断层重建。