learn2reg-无监督的深度学习图像 注册：颅顶之外

https://learn2reg.github.io/

https://www.kaggle.com/adalca/learn2reg

https://github.com/learn2reg/tutorials2019

Unsupervised deep learning image registration: Beyond the cranial vault

• 通过Moving+变换模型->重采样器
• 将重采样器作用在moving上生成warped
• 通过warped和Fixed计算图像相似度
• 将图像相似度通过优化器更新变换模型参数
• 迭代更新

Sunnybrook Cardiac Data心脏数据：心脏影响MRI

45个MR图像

训练集、验证集、测试机都是15个

图像尺寸256x256x~10x20层voxels

2D slices 配准

两个不同的时间点

同样的扫描和切片位置

形变配准

• 3D
• B样条B-splines
• 基于块 Patch-based
• 全卷积Fully convolutional
• 弯曲能量损失Bending energy penalty
• 3x3x3 convolutions
• 2x2x2 avg.pooling
• 32 kernels/nodes per layer

• 转置卷积的b样条配准
• 每个DL包中都有(除了b样条核）

正则化

弯曲能量损失

全局图像配准

• 仿射配准affine registration
• 不同的输入尺寸different size input
• 3x3x3卷积3x3x3 convolutions
• 2x2x2平均池化层2x2x2 avg.Pooling
• 每一层32个核32 kernels per layer

Multi-stage image registration

在DIRLab数据上的评估 Evaluation on DIRLab data

• 吸气-呼气胸部CT
• 评价:人工标注表示的TRE
• 从粗到精的图像配准:

第1步：5.12（4.64）mm

第2步：3.40（4.17）mm

第3步：2.64（4.32）mm

Direct calcium scoring

用于实时自动心血管疾病(CVD)风险分类For real-time automatic cardiovascular disease (CVD) risk categorization

图像组配准框架Group-wise image registration framwork

从心脏CT创建一个atlas图像Creating an atlas-image from cardiac CT

 

配准速度

目前基于深度学习图像配准速度较快：

• 心脏Cardiac MR(256x256)2D->~10ms
• 心脏Cardiac MR(256x256x10)3D单步->~30ms
• 胸部Chest MR(resampled 110^3 - 220^3)->~0.43s

Take-home messages

• 目前还没有一个放之四海而皆准的解决方案
• 训练需要一些时间，但推理很快
• 推理时间主要受GPU I/O-time的限制
• 本机分辨率对gpu显存的要求很高
• 需要大量的训练数据，但训练是无监督的
• 使用现有的DL库构建块很容易实现
• 传统的图像配准技术可以很好地应用于无监督深度学习图像配准