learn2reg-配准介绍

最新推荐文章于 2023-07-27 10:46:34 发布

shchojj

最新推荐文章于 2023-07-27 10:46:34 发布

阅读量1.5k

点赞数 3

分类专栏：配准

本文链接：https://blog.csdn.net/fanre/article/details/103475112

版权

配准专栏收录该内容

17 篇文章 7 订阅

订阅专栏

https://learn2reg.github.io/

https://github.com/learn2reg/tutorials2019

Introduction to Medical Image Registration

什么是医学图像配准？

建立图像之间的空间关系，也称之为空间归一化spatial normalisation。

图像配准关注与寻找到图像空间之间的空间变换或映射spatial transformation or mapping

为什么需要配准？

病患的移动（不同时刻的对齐）
病患的变化（治疗前后的对比）
病患的对照（基于atlas的分析）
信息融合（补充方式或时间，计划转移）
运动补偿改进重建
视场放大(拼接)
本地化和视觉伺服

关键的组成

空间变换模型spatial transformation model

刚体变换Rigid、仿射变换affine、基于局部基函数、位移场displacement field.等

图像匹配驱动Image matching driver

稀疏配对特征Spare paired features。图像强度比较image intensity comparisons

正则化regularisation

空间变化平滑先验spatial transformation smoothness

数据驱动先验data driven pripors

优化策略optimisation strategy

梯度下降gradient descent，无导数连续优化器 derivative-free continuous optimiser，离散图论优化器discret graph-based optimiser

统计学Stistical, 机器学习maching-learing based

配准最主要的两种方法

基于特征匹配Feature-based matching

识别成对的对应点、线或其他几何图元

根据对应特征，拟合一个空间变换模型

基于强度的配准Intensity-based registration

定义一个用于比较图像间相似度的代价函数

使用空间变换来warp图像

通过优化warped image间的代价函数，找到空间变换

经典基于强度的配准：最优化问题

符号：

F：fixed image 。作用域 $\Omega_F$
M：Moving image。作用域 $\Omega_M$
：空间变换。 $\Omega_F\rightarrow \Omega_M$ ； $x\in \Omega_F$
G：变换模型；空间变换的空间s
$Sim(\cdot ,\cdot )$ ：图像相似度的度量
$Reg(\cdot ,\cdot )$ ：可选的正则项

空间转换的示例空间和相关的复杂性

空间变换不一定需要生成向量空间
加法：没有几何意义

$s1,s2\inG \Rightarrow s = s1+s2\notin G$

自然操作：合成

$s1,s2\inG \Rightarrow s = s1\circ s2\in G, s: p\in\Omega ,s(p)=s1(s2(p))$

李群结构：需要找到一个好的空间内在参数化或使用约束优化

https://zh.wikipedia.org/wiki/%E6%9D%8E%E7%BE%A4

杨梦铎, 李凡长, 张莉. 李群机器学习十年研究进展[J]. 计算机学报, 2015(07):33-52.

李群是连续的群，也即其元素可由几个实参数描述。李群为连续对称性的概念提供了一个自然的模型，例如三维旋转对称性。

经典基于强度的配准：优化问题

要解决的优化问题(省略权重因素) $s^* = arg min_sSim(F,M \circ s)+Reg(s)\\ \begin{matrix} & & \end{matrix}= arg min_sE(s)$
迭代求解

从经典到基于学习的方法

经典方法

一对图像或者F和M： $s^* = arg min_sSim(F,M \circ s)+Reg(s)$

基于学习方法的扩展(省略权重因素)

利用多对图像对： F_i 和 M_i

在训练的时候使用额外的信息E（注释，真实模拟）：定义一个监督损失 SuppLoss

使用 $\theta$ 参数逼近函数（例如CNN） $f_\theta(\cdot )$ 编码： $s = f_\theta(F,M)$

在所有的训练集上优化

$\theta^*=argmin_\theta E_{p(F,M)}[Sim(F,M\circ f_\theta(F,M))+Reg(f_\theta(F,M))+SupLoss(E,F,M,f\theta(F,M))]$

许多其他基于学习的选项(如学习相似或学习更新步骤)

基于强度配准：隐藏的困难

许多选择：

Sim,Reg,G,optimiser, parameters, weighting, etc.
大多数选择针对指定问题
从数据中很难了解其中的许多：可用的基本事实
没有最好的方法

经典的方法提出了困难的优化问题：

高维度
强非线性问题
强非凸能量函数，局部极小：具有许多深度学习的特征

从离散样本到连续问题

数字图像通常是一个规则的体素网格上的样本集合
空间变换不能用精确的(离散的)体素匹配来精确地表示：需要连续的表示
图像相似性度量通常依赖于连续积分
插值和重采样用来“绕过”这个难题
对于基于深度学习的方法，重要的是确保步骤是可区分的

插值和重采样

体素位置 $x\in \Omega_F,s(x)$ 一般不落在 $\Omega_M$ 体素位置。
$M\circ s(x) = M(s(x))$ :

对于Nyquist-Shannon采样定理，利用sinc核可以准确地从一组离散样本中恢复带限连续函数

在实际应用中，由于sinc的计算复杂度和相关的伪影(如振铃)，使用了最近邻、线性或三次插值

变换的方向

插值策略的影响

用小的旋转重采样多次：避免多次重采样!如果使用一次，线性插值是好的。

基本配准的策略

$s(x) = S\cdot x$ ：使用齐次坐标homogeneous coordinates，变换后的坐标
$Sim(F,M\circ s)=\int \left | F(x)-M(S\cdot x)\right |^2dx$ 相似性度量
正则化
积分的作用域： $x\in\Omega_F;s(x)\in \Omega_M$
$\Omega_s = \Omega_F\bigcap s^{-1}(\Omega_M)$ ：fixed图像和moving图像的逆变换图像交集
如何计算积分： $\int_{\Omega s}\left| F(x) - M(S\cdot x)\right|^2 \approx \sum_{x\in \Omega s}\left| F(x)-M(S\cdot x)\right|^2$ ; $Sim(F,M\circ s) \overset{\Delta }{=} \sum_{x\in \Omega s}\left| F(x)-M(S\cdot x)\right|^2$
$Sim(F,M\circ s) \overset{\Delta }{=} \sum_{x\in \Omega s}\left| F(x)-M(S\cdot x)\right|^2$ 如何优化：需要计算Sim的梯度（或者一般），使用链式法则chain rule。
$\bigtriangledown Sim(S) =- \sum_{x\in \Omega s}(F(x)-M(s\cdot x))\cdot(\bigtriangledown M)(S\cdot x)^T \cdot(x^T \bigotimes I d_N)$
通过梯度下降: $S_{n+1} = S_n + \lambda\triangledown Sim(S_n)$ ;步长规则，线搜索？一阶收敛。
Newton-Raphson(使用Hessian)可能是一种选择：如何得到代价函数的Hessian的稳定评估?这个比例可以进行变形配准吗?

图像相似度的度量-示例

用于相同强度 +高斯噪声的差平方和(SSD)Sum of squared differences
仿射关系的标准化互相关(NCC) Normalised Cross-correlation：光照差异小，对比度变化小；局部化版本(LNCC)提供了良好的通用性
联合熵，用于强度之间的非参数统计关系的联合图像直方图中的散度和(标准化)相互信息：多模态配准

联合直方图

空间多分辨率金字塔spatial multiresolution pyramids

图像的多尺度表示:在小图像上有效地捕获大规模信息;传播到更细粒度的级别并细化
简单的下采样/次采样会引入混叠误差
先应用低通low-pass，然后向下采样：Gaussian平滑+下采样通过采样因素2是最经典的方法

用于图像配准的高斯金字塔

通常提高配准的速度、准确性和健壮性

需要真么复杂的处理么？

非常简单的形变配准算法：CURT

基于闭型解的非刚性配准算法来最大化秩相关约束Rank Correlation criterion。图像相似度和组织重叠度来的评价标准更好image similarity and tissue overlap scores。不需要仿射变换处理。

验证方法

FRE：Fiducial Registration Error配准误差基准 -配准后对应基准点之间的均方根距离

FLE：Fiducial Localisation Error定位误差基准 -定位基准点的误差

TRE：Target Registration Error配准误差目标-除了基准点以外，对应点之间的距离，这是最重要的

随着目标与基准形心的距离增加，TRE值也增加

FRE不是一个可靠的配准准确性指标(!!)

FRE独立于基准配置。
FRE与偏置误差无关(如MRI梯度、数字化仪相机失调、手持探头弯曲)。
TRE近似有 $N^{-1/2}$ 的相关性 $\left \langle TRE^2(r) \right \rangle \approx \frac{\left \langle FLE^2 \right \rangle}{N}\left ( 1+\frac{1}{3} \sum_{k=1}^{3}\frac{d_k^2}{f_k^2} \right )$

$\left \langle FRE^2 \right \rangle$ :均方基准配准误差

:基准数

d_k^2 ：目标点到基准配置原理轴k的距离(平方)

f_k^2 :基准点与基准配置原则轴k之间的RMS(平方)。

对于基于学习的图像注册，注意事项仍然有效

shchojj

关注

3
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
learn2reg-配准介绍

https://learn2reg.github.io/https://github.com/learn2reg/tutorials2019Introduction to Medical Image Registration什么是医学图像配准？建立图像之间的空间关系，也称之为空间归一化spatial normalisation。图像配准关注与寻找到图像空间之间的空间变换或映射s...
复制链接

扫一扫

专栏目录