【配准】2020年“基于深度学习的医学影像配准”期刊论文速览（PR,TMI,MIA）

针对基于深度学习的医学影像配准，检索了最新的（2020年）期刊论文，包含PR、TMI、MIA3个期刊，下面是浏览论文中的一些记录。

其中有两篇论文提供了代码。

一、PR

1. Deep morphological simplification network (MS-Net) for guided registration of brain magnetic resonance images（沈定刚）

         解决的问题：Deformable brain MR image registration

         方法的创新：this is the first work to simplify brain MR image registration by deep learning, instead of estimating deformation field directly.两条支路（Trajectory，彩色箭头)各自逐渐简化固定图像和浮动图像，使得支路末尾的两张图相似又简单，容易配准；生成简单图像后再用Demons算法对相邻的图像进行配准生成形变场（橙色箭头），最后的形变场是所有形变场的迭代。用到的神经网络是最原始的Unet,创新点在于配准思想——利用简化的图像进行配准。

 

 

实验的设置：在多个数据集上对比了 Demons和Syn

     2.Training data independent image registration using generative adversarial networks and domain adaptation

        解决的问题：基于深度学习的配准方法对训练数据的依赖问题，比如在大脑图像上训练出的模型不能配准眼底图像

        方法的创新：用了GAN和域自适应做图像配准

        实验的设置：X光、大脑MR、眼底图像上都做了实验，比如用在X光上训练的模型配准眼底图像。（这里的眼底图像事先做了预配准）

二、TMI

1. One-Shot Learning for Deformable Medical Image Registration and Periodic Motion Tracking

     解决的问题：4D图像的运动追踪

    方法的创新：提出了下图的网络架构：输入4D图像的patch，这个4D图像包含10个phase的3D图像，每个phase对应输入patch的1个通道；网络最终输出10*3（30）通道的形变场。网络分3步进行训练（对应下图从上往下的3条支路），每一步输入patch的分辨率逐渐升高，计算loss使用的形变场是当前step生成的形变场与之前step生成的形变场的叠加，从而实现a coarse-to-fine的配准。

 

实验的设置：3个公开数据集，包含31个4D图像，含肺的CT，左心室的MR。该方法需要对图像做预配准（如仿射配准）

      Code:https://github.com/ToFec/OneShotImageRegistration

      2.Progressively Trained Convolutional Neural Networks for Deformable Image Registration

      解决的问题：基于深度学习的配准方法难以预测大偏移的形变场

      方法的创新：提出了一种渐进式的（Progressively）网络训练方法，先利用低分辨率的图像训练深层网络，再利用更高分辨率的图像训练更浅层的网络。下图的网络层是从下往上训练出来的，核心思想和“One-Shot Learning for Deformable Medical Image Registration and Periodic Motion Tracking”是一样的——coarse-to-fine registration

      实验的设置：来自3个公共数据集的肺部3D CT图像

     3.Learning an Attention Model for Robust 2-D/3-D Registration Using Point-To-Plane Correspondences

     解决的问题：rigid 2-D/3-D registration

     方法的创新：略。（基于传统的配准方法，先提取的关键点，再基于关键点做的配准，本论文是另一篇论文的拓展）

 

     4.Non-Rigid Respiratory Motion Estimation of Whole-Heart Coronary MR Images Using Unsupervised Deep Learning

     解决的问题： Fast estimation of inter-bin 3D non-rigid respiratory motion fields for motion-corrected free-breathing CMRA（coronary magnetic resonance angiography）

      方法的创新：

 

网络架构如下图，Unet+深监督

 

实验的设置：除了在仿真数据及真实数据集上验证外，对一些参数进行了分析。

5.Automatic Registration Between Dental Cone-Beam CT and Scanned Surface via Deep Pose Regression Neural Networks and Clustered Similarities（首尔大学）

To build a robust and automatic initial registration method, deep pose regression neural networks are applied in a reduced domain (i.e., two-dimensional image). Subsequently, fine registration is performed using optimal clusters.(2步配准，第一步用的深度学习）

三、MIA

1. Image registration: Maximum likelihood, minimum entropy and deep learning

In this work, we propose a theoretical framework based on maximum profile likelihood for pairwise and groupwise registration.

提出了一套理论可用于替代互信息。

    2. ProsRegNet: A deep learning framework for registration of MRI and histopathology images of the prostate（斯坦福大学）

    解决的问题：Registration of histopathology images from patients who had radical prostatectomy to pre-operative MRI allows such mapping of ground truth cancer labels onto MRI. 从而辅助医生看片子。

 

    方法的创新：

    整体框架

 

    网络架构：采用CVPR2017一篇论文的网络，在回归的参数和loss上做了小的改进

 

   实验的设置：和一个传统算法和一个深度学习算法（CVPR2017，网络架构相同那篇）进行了对比。

   Code:https://github.com/pimed//ProsRegNet .

    3.End-to-end multimodal image registration via reinforcement learning

https://www.sciencedirect.com/science/article/pii/S1361841520302425

    4. Biomechanically constrained non-rigid MR-TRUS prostate registration using deep learning based 3D point cloud matching

    解决的问题：non-rigid MR-TRUS image registration

    方法的创新：利用点云匹配去配准图像

    The registration framework consists of a convolutional neural networks (CNN) for MR prostate segmentation, a CNN for TRUS protate segmentation and a point-cloud based network for rapid 3D point cloud matching.

    实验的设置：比较了2个方法，一个传统方法，一个CNN的方法

5.Difficulty-aware hierarchical convolutional neural networks for deformable registration of brain MR images（川大的学生，作者中有范敬凡，沈定刚）

 

6. Weakly-supervised learning of multi-modal features for regularised iterative descent in 3D image registration