医学图像配准论文学习——cocycleReg：以Collaborative Cycle一致性方式制定图像配准和转变（2022）

研究僧_GUO

已于 2023-04-16 22:52:18 修改

阅读量1.4k

点赞数 1

文章标签： python pandas 机器学习

于 2023-03-21 23:37:14 首次发布

本文链接：https://blog.csdn.net/qq_49603002/article/details/129667239

版权

论文地址：CoCycleReg: Collaborative cycle-consistency method for multi-modal medical image registration 多模态医学图像配准的协作周期一致性方法

前言

多模态图像配准的最新进展依赖于图像到图像的转换（ image-to-image translation）来实现良好的性能。但配准和转换的性能被它们并不优秀的互补正则化所限制。为此，我们提出了CoCycleReg，这是一种以Collaborative Cycle一致性方式制定图像配准和转变的新方法。我们没有分为两个离散的阶段，而是在端到端训练过程中通过周期一致性统一图像配准和转换，以便每个部分都可以从另一个部分中受益。为了保证变形场在循环中的可逆性，我们引入了一种新型的双头配准网络，该网络由一个用于提取特征的单backbone和两个用于分别预测变形场的头组成。

keywords：Multi-modal image registration，Cycle-consistency，Image-to-image translation

一、Introducion

来自计算机断层扫描（CT）和磁共振成像（MRI）等不同模式的医学图像提供了补充信息，可以显着帮助早期发现肿瘤或其他疾病，并有助于提高诊断准确性。然而，由于患者运动和解剖结构的变化，多模态图像通常存在不可避免的错位问题。刚性配准在不易受弹性变化影响的结构（例如骨骼）中表现良好。但对于软组织，许多因素都会导致弹性变形，包括组织异常、呼吸运动和肌肉收缩。对于这种情况，可变形配准更合适、更准确。可变形图像配准一直是许多医学图像分析应用的基本组成部分，例如监测疾病的进展和量化治疗机制的有效性。可变形图像配准的目标是实现高速、高精度并保证变形场的真实性。

在之前的论文里讲到了单模态的基于度量的配准方法。基于度量的方法的共同思路是找到一个度量来评估不同模态图像的相似性，为了实现这一目标，使用了MI，结构相似性（SSIM）和MIND 等指标。然而，像MI和SSIM这样的统计指标引入了不准确性，而像MIND这样的手工指标的上限是显而易见的，因为不可能设计一个指标来适应各种模式。

基于图像到图像的转换的深度学习方法不是直接测量来自不同模态的图像的相似性，而是将运动图像转换为目标图像的模态，并使用简单的单模态指标（如MSE）来衡量相似性。这种方法完全抛弃了复杂的手工指标，并且性能可以受益于图像到图像转换的发展。

近年来，自从Zhu等人提出图像到图像转换的循环一致性并在CycleGAN中取得了巨大成功以来，循环一致性已经被普遍使用。对于图像配准任务，循环一致性可以用于提高图像配准的可逆性。什么是相关周期一致性？我也不知道，看看下文。

除了在上一段中提到基于图像到图像转换的深度学习方法，转换和配准间的协作也是一个关键点。然而，据我们所知，图像配准和转换之间的互补正则化仍未得到充分探索。受周期一致性和集成转换-配准框架的启发，我们提出了CoCycleReg，深入研究集成转化-配准框架的周期一致性，以提高多模态图像配准的性能。

二、相关工作

1.VoxelMorph

VoxelMorph是最流行的医学图像配准方法，用于提供通用的无监督学习模式。近年来，大多数提出的方法，包括单模态和多模态配准，都是基于通过使用相似性度量比较扭曲图像和目标图像来优化空间变换网络（STN）。在研究中，VoxelMorph模式集成进了我们所提出的协作循环一致性方式。

2.图像到图像的转换 Image-to-image Translation

图像到图像转换的方法，最初是用于2D自然图像合成的图像。Phillip等人提出了有监督图像到图像的转换方法Pix2Pix ，然后Zhu等人提出了无监督图像到图像的转换方法CycleGAN [20]。之后，又提出了许多医学图像合成方法，将医学图像从一种模式转换为另一种模式，例如，从MRI到CT或从CBCT转换为CT。图像到图像的转换过程在我们的方法中至关重要，可以评估来自不同模态的图像之间的相似性。

3.周期一致性 Cycle-consistency

Zhu等人在CycleGAN中提出了图像到图像转换的循环一致性，Kim等人采用了循环一致性来提高图像配准的可逆性。所提方法协同统一了图像配准和转换的周期一致性。

我的理解是，其实是说：循环一致性一开始是用于图像到图像的转化的（也就是图像的模态转换？）这篇文章把循环一致性损失结合相似性损失用于多模态配准。

4.基于图像到图像的模态转换的多模态图像配准

随着图像到图像转换的发展，可以将多模态图像配准转换为单模态图像配准。例如，Wei等人[13]使用具有互信息约束的CycleGAN [20]，从相应的MR图像逐个切片生成合成的CT图像，然后将2D切片连接成3D体积，从而将多模态配准转换为单模态问题。但是，这类方法会使得图像到图像的平移和图像配准过程梯度不连续，从而导致这两个阶段间不能相互调节[13]，[15 ]。

与我们的工作最相关的是Arar等人[14]引入了一种基于几何的保持图像到图像转换的2D多模态配准方法。它们集成了转换和配准流程，同时优化了这个网络。然而，这项工作侧重于二维自然图像配准，而没有解决图像到图像转换和图像配准的周期一致性问题。需要注意的是，变形场的规律性和可逆性对于医学图像配准具有重要意义，这在我们所提出的方法中得到了充分的解决。

三.方法

给定一组多模态图像，表示为（x，y）。任务为：双向的多模态图像配准，即对输入图像对，估计出双向变形场。

这个方法是对称的（从x到y，从y到x），首先，上图a展示了变形场生成网络 $R_\phi$ 生成双向变形场 $\phi x2y$ 和 $\phi y2x$ 。其次，图b展示了图像x通过协作循环过程的前向流（好绕口，原文为：forward flow of the collaborative cycle process），进行转变和配准，变为 $\hat{y}$ ,（这个y尖就是对x进行模态转换translation和变形场warp的复合函数 $Tx2y(x) \circ \phi x2y$ ）。最后， $\hat{y}$ 通过反向的模态转换、配准回到 $\hat{x}$ ， $\hat{x}=Ty2x(\hat{y})\circ \phi y2x$ ,这个过程是协作循环过程的反向流。前向和后向流程构成了模态转变和配准流程的协作周期一致性。

整个网络是端到端的，并通过相似性损失、周期一致性损失和GAN损失的组合进行优化。相似性损失使y和 $\hat{y}$ 之间的差异最小化,从而训练配准网络并向图像到图像转换的网络提供一些监督信息;循环一致性损失使x和 $\hat{x}$ 之间的差异最小化，帮助图像转换网络在转换过程中保持几何形状一致，并有助于保持双向变形场的可逆性;GAN损失训练图像转换网络将图像从源域转换为目标域。

1.配准网络

配准网络R由 $R_\phi$ 和 $R_s$ 组成，前者是双头变形场生成网络，后者是重采样层。 $R_\phi$ 生成双向变形场

$\phi x2y$ 和 $\phi y2x$ ， $R_s$ 通过相应的变形场扭曲图像。

我们知道双向配准需要双向变形场。为了提高双向变形场的可逆性，以前的方法直接反演一个方向的变形场以获得另一个方向，或者采用两个配准网络并利用循环一致性损失。前者带来了严格的可逆性约束，要求过于严格，对训练不友好，而后者使网络参数加倍，也增加了训练难度。与这些方法相比，我们采用双头变形场生成网络（下图），并在协同循环一致性过程中将可逆性作为训练目标，简化了训练过程，减少了配准网络的一半左右的参数。

双头变形场生成网络：除了最后的一个双头层，整体是Unet，和voxelmorph中的配准网络一致；UNET后是双头层，每一个头是一个3D卷积层，输入为16个通道，输出是3个通道

接下来具体描述一下网络（公式太多了直接上原文，假装是为了不引起误解，其实是懒）

注意到由于图像值仅在整数位置定义，因此我们应用三线性插值来进行近似。、

也就是说， $R_s$ 用于协作周期（works on the collaborative cycle ），梯度传递给 $R_\phi$ 进行反向传播。为了保证变形场的光滑和真实，这里使用平滑度正则化 smoothness regularization.

也就是说，配准网络的损失是两个变形场的平滑度正则化之和。在实践中，我们通过相邻体素之间的差异来近似空间梯度

2.协作周期一致性网络 Collaborative Cycle-consistency Network

2.1模态转变和配准流 Translation and Registration Flow

转变和配准流先在图像x上使用，用从来实现图像-图像的变换，得到 $Tx2y(x)$ ，在使用空间变换生成 $\hat{y}$ = $Tx2y(x) \circ \phi x2y$ 。为了保证图像的全局保真度，使用GAN损失。具体来说，是使用了PatchGAN鉴别网络 $Dx2y$ 进行分类，将y鉴定为真， $\hat{y}$ 为假。损失：

我们希望得到的结果是变换+配准后的输出非常接近目标图像， $\hat{y}\approx y$ ，为此加入相似性损失去最大化两者的相似度，损失为：

2.2协作循环一致性正则化Collaborative Cycle-consistency Regularization

上一节中的翻译和注册流在整个管道中称为前向流。此外，我们还需要图像到图像的循环一致性，从而保持转换过程中的几何形状的一致性；也需要图像配准的循环一致性，从而保证变形场的可逆性，因此，这里我们将反向的变形和配准过程作为逆向流，作为图像配准和变形的正则化。也就是说，当我们把 $\hat{y}$ 通过变形和配准过程，转变为原先的模态后，输出的 $\hat{x}$ 应该与输入图像x很接近。

我们以前向流和后向流的协作循环一致性方式制定整个训练过程：在通过正向流获得 $\hat{y}$ 后，通过网络 $Ty2x$ 转变，返回原模态 $Ty2x$ （ $\hat{y}$ ），在通过变形场 $\phi y2x$ 扭曲，得到 $\hat{x}$ = $Ty2x$ （ $\hat{y}$ ） $\circ$ $\phi y2x$

。损失为：

3 总体损失

研究僧_GUO

关注

1
点赞
踩
13

收藏

觉得还不错? 一键收藏
3
评论
医学图像配准论文学习——cocycleReg：以Collaborative Cycle一致性方式制定图像配准和转变（2022）

多模态图像配准的最新进展依赖于图像到图像的转换（）来实现良好的性能。但配准和转换的性能被它们并不优秀的互补正则化所限制。为此，我们提出了CoCycleReg，这是一种以Cycle一致性方式制定图像配准和转变的新方法。我们没有分为两个离散的阶段，而是在端到端训练过程中通过周期一致性统一图像配准和转换，以便每个部分都可以从另一个部分中受益。为了保证变形场在循环中的可逆性，我们引入了一种新型的双头配准网络，该网络由一个用于提取特征的单backbone和两个用于分别预测变形场的头组成。
复制链接

扫一扫