医学图像配准论文学习——使用无监督深度学习对纵向腹盆腔CT图像进行3D可变形配准（2021）

最新推荐文章于 2024-05-17 10:00:00 发布

研究僧_GUO

最新推荐文章于 2024-05-17 10:00:00 发布

阅读量446

点赞数

文章标签：人工智能

本文链接：https://blog.csdn.net/qq_49603002/article/details/130231384

版权

原文链接：使用无监督深度学习对纵向腹盆腔CT图像进行3D可变形配准 - ScienceDirect

前言

虽然这是一篇21年的论文，略显遥远了。但目前来看，医学图像分析，尤其是配准和分割的部分，数据集还是集中在大脑、膝盖的部分，偶尔会有膝盖、肠道等位置。因为导师的要求-在大肠图像上搞研究，想看看在不同的数据上怎么做深度学习分析，希望触类旁通吧。

重点是：

自动移除CT台和体外结构，提高图像配准的性能。CT table是指患者进行扫描时的操作台。它是一种固定的结构，不随患者的姿势或生理状态而变化。因此，它可能会影响图像配准的效果，所以作者在配准之前先把它去掉了。
提出一种基于模拟变形的增量训练策略，适用于纵向数据集和小型临床数据集。模拟的变形方式是一种用随机生成的位移向量场来扭曲原始图像的方法，可以产生一些假的配准对，用来训练或评估深度学习方法。这样做的目的是为了增加训练数据的多样性和难度，以及适应腹盆腔CT图像中可能出现的非线性或局部的变形。

太可怕了。

一、摘要

深度学习越来越多地用于可变形图像配准，特别是无监督方法显示出巨大的潜力。然而，腹盆腔计算机断层扫描（CT）图像的配准仍然具有挑战性，因为与通常被视为基准的脑或前列腺磁共振成像数据集中的位移相比，这种图像位移更大（why？）。在这项研究中，我们研究了使用常用的无监督深度学习框架VoxelMorph来配准乳腺癌骨转移患者获得的纵向腹部盆腔CT数据集。

研究方法：首先通过自动去除CT表和所有其他体外成分来细化腹盆腔CT图像。然后提出一种基于纵向数据集中连续CT图像变形模拟的增量训练策略，以提高VoxelMorph框架的学习能力。最后使用NiftyReg作为基准，通过计算手动椎骨分割和结构相似指数之间的骰子相似系数进行评估。

研究结果：CT表移除程序使VoxelMorph和NiftyReg都获得了显着更好的配准性能。增量训练策略产生了更好的配准性能，平均骰子相似系数为0.929，平均结构相似指数为0.984。尽管深度学习方法在精度方面并没有优于NiftyReg，但配准速度大约快了300倍。

先把CT图像中不属于人体的部分去掉，这样可以减少干扰和计算量。
然后用一些已知的变形方式来模拟出一些假的配准对，这样可以增加训练数据的多样性和难度。
最后用一个无监督的损失函数来评估配准的质量，这样可以避免需要人工标注的真实配准对。

二、方法

1.数据集

本研究使用了一组包含原发性乳腺癌骨转移患者的连续CT图像的数据集。乳腺癌常常表现为溶骨性和硬化性骨转移的混合，这些转移在骨骼中的衰减程度不同，治疗反应也会导致骨质硬化的变化。为了评估治疗反应，需要对骨转移及其随时间的变化进行定量分析，而这需要准确且实时的连续CT图像的可变形配准。本研究收集了12名只有骨转移的患者的88张腹盆腔CT图像，并对其中完整显示的椎体进行了半自动分割，以用于评估配准方法的性能。

移除CT工作台

使用基于区域生长的方法自动去除CT台和所有其他体外成分，如假体、衣服和金属物体，以便于图像配准。

其余预处理

使用NiftyReg工具箱进行仿射配准，以消除全局旋转和平移，以及不同扫描之间的视野差异；
对每个扫描进行线性拉伸和归一化，使像素值范围在[0,1]之间；
对图像进行下采样和裁剪，使体素大小为1mm3，图像维度为160×160×256；

这部分简略，不重要。

2.生成模拟的DVFs

由于可用的转换对数量有限，患者间差异大，以及转换的通常非微分同形性质，例如，由于肠蠕动或膀胱充盈引起的连续CT图像中正常结构的外观发生变化，因此无法直接训练网络在我们的数据集中注册纵向腹盆腔CT图像.因此，我们开发了一种模拟器，该模拟器生成随机合成DVF并转换腹盆腔CT图像。

具体步骤如下：

随机选择P个初始化点，每个点由三个随机值组成，分别对应于x，y和z方向的位移。这些位移的范围是根据实际数据集中的典型位移来设置的，以使模拟的变形尽可能真实。
使用这些点来初始化一个与原始CT图像具有相同维度的位移场，并用高斯核对其进行平滑，以保证相邻体素的位移方向一致。
使用生成的位移场对CT图像进行变形，并添加高斯噪声，使变形后的CT图像更加逼真。

我的理解是这里~~有点类似对抗生成模型了~~，主要思路是产生足够的数据集（哪怕是虚假的），先预训练出模型，再重复利用真实的图像对微调模型。但注意：生成模拟的DVFs并不是为了欺骗网络，而是为了模拟真实的变形场景，例如肠蠕动或膀胱充盈。这些变形场景在我们的纵向腹盆腔CT数据集中是存在的，但是我们没有真实的DVFs来表示它们。因此，我们使用一种基于随机选择的点和位移的方法来生成模拟的DVFs，这些点和位移可以反映真实的变形范围和模式。这样做的目的是让网络能够从模拟的DVFs中学习到一些有用的特征和规律，从而提高其在真实数据上的表现。

3.深度学习方法

这里使用VoxelMorph模型训练。使用标准的损失函数等，有没看过这个模型的同学可以阅读我的博客：(1条消息) 学习笔记：医学图像配准简介—附voxelmorph模型_voxelmorph 多模态_研究僧_GUO的博客-CSDN博客

4.增量训练策略

VoxelMorph网络在可用数据集中对有限数量的腹盆腔CT扫描进行初始训练时没有收敛(这应该是本文的出发点之一)。为此，利用生成的模拟DVFs——而不是一般的数据增强方法，进行学习。在我们的增量训练策略（图4）中，变形的CT图像按时间顺序以每位患者的小批量呈现给网络。与一般数据增强相比，增量训练使网络能够从单个患者的连续图像之间的相似性中受益，并通过物理驱动的变形将这些知识传递给下一个患者。

什么是物理驱动的变形？是指一种变形方法，它考虑了物理机制或约束，以使变形更加逼真和合理。例如，作者使用了基于弹性力学的物理机制来生成模拟的位移场，用于训练深度学习模型。在其他一些研究中，也使用了类似的物理驱动的变形方法，例如用于预测隧道挖掘引起的地面变形，或者用于预测松散服装的变形2。物理驱动的变形可以提高变形的准确性和鲁棒性，尤其是在数据有限或噪声较大的情况下。

首先，从纵向数据集中选择一对连续的CT图像，作为固定图像和移动图像。
然后，使用模拟器生成随机合成的位移矢量场（DVF），并用它来变形移动图像，得到一个合成的配准图像。
接着，使用VoxelMorph框架训练一个卷积神经网络（CNN），该网络以固定图像和合成的配准图像为输入，输出一个估计的DVF，用于对齐两个图像。
最后，使用估计的DVF和原始的移动图像，生成一个变形后的移动图像，并与固定图像进行比较，计算损失函数和评估指标。

这过程重复多次，每次选择不同的CT图和不同的模拟DVF，直到CNN收敛。

总结

这篇论文提出了一种使用无监督深度学习对纵向腹盆腔CT图像进行3D可变形配准的方法。该方法使用VoxelMorph框架，并提出了一种基于模拟变形的增量训练策略，以克服训练数据有限和位移较大的挑战。该方法还使用了一种自动去除CT台和体外结构的预处理步骤，以改善图像配准的性能。该方法在原发性乳腺癌骨转移患者的纵向腹盆腔CT数据集上进行了评估，并与NiftyReg工具箱进行了比较。实验结果表明，该方法可以在小型临床数据集上有效地训练CNN，并且可以实现与NiftyReg相当的配准精度，同时速度提高了300倍。

效果

注：这篇笔记基本没有什么数学公式，因为我觉得把公式贴上来可能也不会帮助大家理解。以后的笔记我也尽量不打公式了，但如果有希望贴的同学可以评论区留言交流。谢谢。