读论文《Learning 3D Gaussians for ExtremelySparse-View Cone-Beam CT Reconstruction》MICCAI 2024.

论文题目：学习三维高斯函数用于极稀疏视图锥束CT重建

主要探讨了一种新的锥束计算机断层扫描（CBCT）重建框架，称为DIF-Gaussian，旨在通过使用更少的投影来减少辐射剂量，同时提高重建图像的质量。

论文地址：[2407.01090] Learning 3D Gaussians for Extremely Sparse-View Cone-Beam CT Reconstruction (arxiv.org)

项目地址：github.com

还是先看论文再看代码

摘要：

        锥束计算机断层扫描（CBCT）是医学成像中不可或缺的技术，但其相关的辐射暴露在临床实践中引起关注。为了降低这些风险，稀疏视图重建已成为重要的研究方向。尽管已经引入了隐式神经表示进行稀疏视图CBCT重建，现有方法主要关注从稀疏投影中查询局部2D特征，这对于处理更复杂的解剖结构（如胸部）是不够的。为此，作者提出了一种新的重建框架DIF-Gaussian，利用3D高斯来表示3D空间中的特征分布，提供额外的3D空间信息以便于估计衰减系数。此外，作者在推理过程中加入了测试时优化（test-time optimization, TTO），以进一步提高模型的泛化能力。通过在两个公共数据集上的评估，DIF-Gaussian显示出比之前最先进方法显著优越的重建性能。        

引言：

介绍了CBCT的重要性和稀疏视图重建的动机，以及现有方法的局限性。

方法

DIF的概述。利用K-view中间特征F学习三维高斯参数。对于三维点p，从高斯特征(3D)和k视图特征(2D)中查询混合代表性特征，估计其衰减系数v。

问题表述

        基于隐式神经表示的稀疏视图CBCT重建问题被表述为学习一个隐式映射函数g，该函数将稀疏2D投影和3D空间中的任意点映射到对应的衰减系数。

I：K个稀疏2D投影，

p:是在三维空间中定义的任意点,

v∈R为对应的衰减系数(或称强度[13])值。

DIF-Gaussian框架

• 3D高斯的定义：3D高斯由位置(u)、协方差矩阵(Σ)和代表性特征定义。协方差矩阵可以由旋转和平移矩阵(M)确定。
• 
• M又可以用a 4-dimensional quaternion  r和缩放因子s定义：

• 

  因此，三维高斯函数可以表示为一组参数。
• 从投影中学习3D高斯：使用共享的2D编码器提取语义特征，

        

• 然后通过多层感知机（MLPs）学习高斯参数。

• 从3D高斯查询特征：给定一个3D点p和一个3D高斯G，可以基于高斯的协方差矩阵直接从3D空间查询该点的特征。

  将查询权值定义为

  

• 三维高斯函数用于显式表示三维空间中的特征分布，这意味着我们可以基于这些高斯函数直接从三维空间查询p的特征:

  

• 从k视图投影中查询p的特征为

• 实现细节：使用U-Net作为2D编码器，并通过随机采样点进行训练，使用均方误差进行模型优化。

测试时优化（TTO）

• 基于X射线成像的基本原理，提出了一种在推理过程中对模型进行微调的方法，以优化投影误差。

• 射线累积的总能量衰减(Nr + 1个点的离散近似)为

  

 基于上述约束，我们进一步提出了测试时间优化，以提高井训练模型g在推理过程中的泛化能力。具体地说，给定稀疏投影I，映射函数µEqn. 7可以表示为µ(·)≡g(I，·)。然后，我们可以优化投影误差∥e(R)−e(R)∥2来微调g，其中e(R)是投影中pd的真实测量值，使用Eqn. 7计算出e(R)。

实验

作者在两个公共数据集（胸部CT和牙科CBCT）上进行了实验，验证了DIF-Gaussian和TTO的有效性。使用了峰值信噪比（PSNR）和结构相似性（SSIM）作为评估指标。

结果

DIF-Gaussian在所有比较的方法中表现最佳，即使在只有6个视图的情况下，也能提供比其他方法更好的图像质量。