learn2reg-数据融合的机遇与挑战

https://learn2reg.github.io/

https://www.kaggle.com/adalca/learn2reg

https://github.com/learn2reg/tutorials2019

Opportunities and Challenges for Data Fusion

图像配准-MICCAI简史（2013）

图像配准-MICCAI简史（2018）

2018年使用深度学习的配准方法成为了主流

图像配准-MICCAI简史（2019）

MICCAI 2019-配准论文：

• 24篇论文标题中有“registration”
• 17篇论文标题中有“motion”
• 3篇论文标题中有“deformation”
• 不包含追踪、图像引导、融合
• 占接收论文的8%（~44/538）

Satallite events -3个配准指导：

• Learn2Reg
• AirLab:Autograd Image Registration Laboratory
• Image Registration during Minimally Invasive Catheter-based Interventions

• Segmentation：分割难度50%
• Classification:分类难度19%
• Prediction：预测难度6%
• Localization：定位6%
• Detection：检测6%
• 其他13%

图像配准-WBIR医学图像配准研讨会简史

• 2018年第八届国际生物医学配准研讨会8th International Workshop on Biomedical Registration 2018：

机遇与挑战Opportunities and Challenges

深度学习在图像/疾病分类、检测、预测和分割方面取得了巨大的进展：

• 大量带标记/标签的数据集
• 一般认为当前的方法优于以前更传统的方法。
• 仍然面临领域变化、异常存在等方面的挑战

图像配准依然有些落后（limping behind）：

• 由于缺乏基本事实的标记和真实的形变场等
• 在深度学习方法中，配准经常用于数据的增强和预处理

新的配准方法正在新兴

回顾传统配准：

利用优化的方法预测变换

深度学习配准模型：

利用学习的方法计算损失函数

传统的配准：

• 需要领域知识：单/多模图像配准，使用图像协议..
• 需要鲁棒的参数调优和设置：加权成本函数，分辨率等级数...
• 需要关于预期变形类型的先验信息：Rigid,affine,deformable,composite,sliding,volume preserving,...

深度学习配准：

• 传统代价函数，变换，优化方法有相应的损失函数，变换网络，训练
• 在多图像对上训练替代了单图像对的优化。
• 网络架构设计和相关超参数仍然很重要
• 推理时间超级快-但需要训练数据和训练时间!：一些传统的图像配准方法也具有接近实时的性能，而且不需要训练数据——在许多情况下，它们现在可以“开箱即用”

损失函数与传统注册代价函数有直接关系!：现有的图像相似性和正则化方法基本上时可用的，只要他们是可微分的(需要反向传播)

手动制定的损失函数也有缺点：我们落入了和之前一样的陷阱，因为我们没有直接学习图像相似性度量(也没有学习转换模型)；相反，我们通过使用许多有代表性的数据对来间接地调整与损失函数相关的权重；我们还面临损失函数中加权项的问题。

与传统的图像配准一样的挑战。

缺乏足够的验证标准:

• Dice系数，目标配准损失，基于强度的度量：这些都是替代措施
• 大量关注对象间的脑部配准(由于有可用的标签数据)
• 多好才算好

临床价值不明确:

• 也许在图像引导和跟踪应用中更清晰
• 但是图像配准——以及随后的图像融合——对临床决策有帮助吗?

静止的危险!我们目前正在重建我们以前所做的:

• 刚体和形变配准
• 多模配准
• 微分同胚的配准
• 在标准数据集上通常有更好的结果

然而，研究人员正在回避一些棘手的、临床上更相关的问题：解剖和疾病变异性，正常和异常的增长模式，复杂的生理运动，新兴的成像技术，图像采集中的运动...

把深度学习当作配准(或其他任何地方)的黑盒子是错误的:

• 需要整合先验的知识：解剖学，生理学，影像物理学
• 需要发现和研究已获得但隐藏的新知识：运动模型，权重和损失
• 需要找到可以在域之间传输的通用解决方案：例如，低剂量和高剂量CT，不同的MR协议，不同的放射性示踪剂；
• 需要迎合患者特定问题与人群一般问题：多模式，动态或纵向配准是针对患者的；地图集和截面配准需要为一个人口工作

以下是一些机遇和挑战:

案例研究1:胎儿头部合成

• 
• 
•      
•      
• 迭代空间变换网络给出了一个精确对齐任何给定初始方向。
• 在以前的方法失败的情况下，对胎儿/探针快速运动有很强的适应能力。
• 多视图图像的姿态校正
• 迭代与显著性加权
• 可视化渲染结果

剩余的挑战：

• 超声波帧率-最终我们想做实时实现
• 超声波失真-目前传统解决方法是，低参数b样条配准
• 位姿校正仍然需要对atlas进行初始配准-而atlas是通过常规配准形成的
• 胎儿的微小变形-吞咽液体，嘴唇张开/闭合，…
• 胎儿的较大变形-四肢靠近脸，吮吸拇指，…

案例研究2:胎儿全身合成