[TMI2018-03]Cross-Modality Image Synthesis via Weakly Coupled and Geometry Co-Regularized Joint Dict

Cross-Modality Image Synthesis via Weakly Coupled and Geometry Co-Regularized Joint Dictionary Learning

多模式医学成像越来越多地用于诊断检查或医学研究的一部分中对复杂疾病的综合评估。不同的成像模式可提供有关活组织的补充信息。但是，由于患者的不适感，成本增加，扫描时间延长和扫描仪不可用等不利因素，多模式检查并不总是可能的。另外，在大型成像研究中，由于图像伪影，数据损坏或数据丢失（这损害了多模式采集的潜力），不完整的记录并不少见。在本文中，我们提出了一种弱耦合和几何共正则联合字典学习方法，以解决交叉模态综合问题，同时考虑到收集大量训练数据通常是不切实际的事实。我们的学习阶段只需要几个注册的多模态图像对作为训练数据。为了同时使用成对的图像和大量的不成对的数据，提出了一种跨模态的图像匹配准则。然后，我们通过将这样的标准集成到联合字典学习和可观察到的公共特征空间中来提出一个统一模型，以关联跨模态数据以进行合成。此外，添加了两个正则化项来构造鲁棒的稀疏表示。我们的实验结果证明了所提出模型的性能优于最新方法。

方法

在过去的几年中，跨模态图像合成吸引了医学图像计算界的关注。 大多数技术假定这种映射存在于源成像模式和目标成像模式之间。 然后，将问题表述为学习最有效的映射表示的问题。为了从源模态合成目标，已提出了一些方法，该方法可以从单个图像或图像对中提取的补丁构建字典，或从大量训练图像对中学习映射。尽管这些方法显示出了巨大的希望，但它们受到监督并需要标记的数据集。

在本文中，我们提出了一种单图像交叉模态综合方法，该方法适用于 T1w，T2w 和 PDw 脑部 MRI，该方法利用了一些已配准的多模态图像对，同时使用了较大的未配对数据集来从可用的源图像中合成目标图像模态。我们的方法提取了共同的潜在特征，这些潜在特征映射了下层组织的不同图像特征，保留了所有模态之间的全局统计图像属性，同时，对提取的特征进行了细化以在每个模态中保留局部几何结构。此外，所提出的方法仅需要几个配准图像对就可以找到不同图像模态中的外观之间的映射，并采用辅助的非配对训练图像来进一步利用特定于模态的几何结构并获得鲁棒的稀疏表示。为了用原始训练对补充未配对的数据，基于流形排序的交叉模态图像匹配被用作从源域中最相似的对象中获取目标域特征的准则。多模态数据之间的映射可能很复杂且高度非线性。为了提供在不同模态下映射图像结构所需的灵活性，我们通过描述和关联跨模态数据的关联函数来确定公共特征空间。

3D 图像中的正方形代表大小为 5×5×5 的提取的 3D 块。第一步是将提取的配对/未配对的块投影到公共特征空间中，分别用圆圈表示源模态数据，用三角形表示目标模态数据。然后，我们从第一步开始测量所有匹配对上的最大平均差异（MMD）分布的差异，以寻找可再生内核希尔伯特空间（RKHS）中的内在对。 之后，为了更好地保留模态专用信息，我们采用拉普拉斯特征图来捕获每个域的局部几何结构，并用几何正则化术语表示。 最后，可以根据处理后的特征来训练期望的字典对。

总结

借助几个配准图像对将图像块投影到虚拟空间进行匹配。