https://github.com/learn2reg/tutorials2019
Introduction to Medical Image Registration
什么是医学图像配准?
建立图像之间的空间关系,也称之为空间归一化spatial normalisation。
图像配准关注与寻找到图像空间之间的空间变换或映射spatial transformation or mapping
为什么需要配准?
- 病患的移动(不同时刻的对齐)
- 病患的变化(治疗前后的对比)
- 病患的对照(基于atlas的分析)
- 信息融合(补充方式或时间,计划转移)
- 运动补偿改进重建
- 视场放大(拼接)
- 本地化和视觉伺服
关键的组成
- 空间变换模型spatial transformation model
刚体变换Rigid、仿射变换affine、基于局部基函数、位移场displacement field.等
- 图像匹配驱动Image matching driver
稀疏配对特征Spare paired features。图像强度比较image intensity comparisons
- 正则化regularisation
空间变化平滑先验spatial transformation smoothness
数据驱动先验data driven pripors
- 优化策略optimisation strategy
梯度下降gradient descent,无导数连续优化器 derivative-free continuous optimiser,离散图论优化器discret graph-based optimiser
统计学Stistical, 机器学习maching-learing based
配准最主要的两种方法
- 基于特征匹配Feature-based matching
识别成对的对应点、线或其他几何图元
根据对应特征,拟合一个空间变换模型
- 基于强度的配准Intensity-based registration
定义一个用于比较图像间相似度的代价函数
使用空间变换来warp图像
通过优化warped image间的代价函数,找到空间变换
经典基于强度的配准:最优化问题
符号:
- F:fixed image 。作用域
- M:Moving image。作用域
:空间变换。
;
- G:变换模型;空间变换的空间s
:图像相似度的度量
:可选的正则项
空间转换的示例空间和相关的复杂性
- 空间变换不一定需要生成向量空间
- 加法:没有几何意义
- 自然操作:合成
- 李群结构:需要找到一个好的空间内在参数化或使用约束优化
https://zh.wikipedia.org/wiki/%E6%9D%8E%E7%BE%A4
杨梦铎, 李凡长, 张莉. 李群机器学习十年研究进展[J]. 计算机学报, 2015(07):33-52.
李群是连续的群,也即其元素可由几个实参数描述。李群为连续对称性的概念提供了一个自然的模型,例如三维旋转对称性。
经典基于强度的配准:优化问题
- 要解决的优化问题(省略权重因素)
- 迭代求解
从经典到基于学习的方法
- 经典方法
一对图像或者F和M:
- 基于学习方法的扩展(省略权重因素)
利用多对图像对:和
在训练的时候使用额外的信息E(注释,真实模拟):定义一个监督损失
使用参数逼近函数(例如CNN)
编码
:
在所有的训练集上优化
许多其他基于学习的选项(如学习相似或学习更新步骤)
基于强度配准:隐藏的困难
许多选择:
- Sim,Reg,G,optimiser, parameters, weighting, etc.
- 大多数选择针对指定问题
- 从数据中很难了解其中的许多:可用的基本事实
- 没有最好的方法
经典的方法提出了困难的优化问题:
- 高维度
- 强非线性问题
- 强非凸能量函数,局部极小:具有许多深度学习的特征
从离散样本到连续问题
- 数字图像通常是一个规则的体素网格上的样本集合
- 空间变换不能用精确的(离散的)体素匹配来精确地表示:需要连续的表示
- 图像相似性度量通常依赖于连续积分
- 插值和重采样用来“绕过”这个难题
- 对于基于深度学习的方法,重要的是确保步骤是可区分的
插值和重采样
- 体素位置
一般不落在
体素位置。
:
对于Nyquist-Shannon采样定理,利用sinc核可以准确地从一组离散样本中恢复带限连续函数
在实际应用中,由于sinc的计算复杂度和相关的伪影(如振铃),使用了最近邻、线性或三次插值
变换的方向
插值策略的影响
用小的旋转重采样多次:避免多次重采样!如果使用一次,线性插值是好的。
基本配准的策略
:使用齐次坐标homogeneous coordinates,变换后的坐标
相似性度量
正则化
- 积分的作用域:
:fixed图像和moving图像的逆变换图像交集
- 如何计算积分:
;
如何优化:需要计算Sim的梯度(或者一般),使用链式法则chain rule。
- 通过梯度下降:
;步长规则,线搜索?一阶收敛。
- Newton-Raphson(使用Hessian)可能是一种选择:如何得到代价函数的Hessian的稳定评估?这个比例可以进行变形配准吗?
图像相似度的度量-示例
- 用于相同强度 +高斯噪声的差平方和(SSD)Sum of squared differences
- 仿射关系的标准化互相关(NCC) Normalised Cross-correlation:光照差异小,对比度变化小;局部化版本(LNCC)提供了良好的通用性
- 联合熵,用于强度之间的非参数统计关系的联合图像直方图中的散度和(标准化)相互信息:多模态配准
联合直方图
空间多分辨率金字塔spatial multiresolution pyramids
- 图像的多尺度表示:在小图像上有效地捕获大规模信息;传播到更细粒度的级别并细化
- 简单的下采样/次采样会引入混叠误差
- 先应用低通low-pass,然后向下采样:Gaussian平滑+下采样通过采样因素2是最经典的方法
用于图像配准的高斯金字塔
通常提高配准的速度、准确性和健壮性
需要真么复杂的处理么?
非常简单的形变配准算法:CURT
基于闭型解的非刚性配准算法来最大化秩相关约束Rank Correlation criterion。图像相似度和组织重叠度来的评价标准更好image similarity and tissue overlap scores。不需要仿射变换处理。
验证方法
FRE:Fiducial Registration Error配准误差基准 -配准后对应基准点之间的均方根距离
FLE:Fiducial Localisation Error定位误差基准 -定位基准点的误差
TRE:Target Registration Error配准误差目标-除了基准点以外,对应点之间的距离,这是最重要的
随着目标与基准形心的距离增加,TRE值也增加
FRE不是一个可靠的配准准确性指标(!!)
- FRE独立于基准配置。
- FRE与偏置误差无关(如MRI梯度、数字化仪相机失调、手持探头弯曲)。
- TRE近似有
的相关性
:均方基准配准误差
:基准数
:目标点到基准配置原理轴k的距离(平方)
:基准点与基准配置原则轴k之间的RMS(平方)。