一、Motivation
- 不同模态的图像之间强度分布存在差异,因此现存的配准算法不具备很强的鲁棒性。
- 无监督且端到端
- 包含三个部分:特征提取、变形场生成器、空间变换采样。
- 该方法同时考虑了图像强度和梯度,避免了基于强度的相似性度量的缺点。
二、Method
上图是整个算法的框架,
- 两个全卷机网络作为特征提取器。分别输入MRI and IUS图像。然后两个特征提取器的输出concatenated输入到变形场生成器中。
- 变形场生成器用于生成变形场
- 空间变换利用变形场对MRI图像进行采样声场warped MRI image。
- warped MRI image 进行二次线性插值用于得到与与图像相同大小。
- 然后最后的损失函数就是“相似性度量“。
上图是特征提取网络的结构,类似于U-NEt那种结构。
Similarity Metric
通过同时考虑图像强度和梯度来评估配准质量,许多传统的基于强度的方法都不适合这种模式间配准任务,因为MRI和iUS图像在强度值上有很大的不同。损失函数如下图所示:
IF代表上iUS图像,而i代表每一个voxel,pi为warped MRI中i个的值,gi为该voxel的梯度。alpha beta都为超参数。这么定义的原因是:超声强度值可以描述内部流体和组织的不同性质,也可以表示组织界面或梯度。
三、Experiment
数据集:RESECT https://archive.norstore.no/ 点击select 里面搜索:RESECT
实验就放了一张图
唯一吸引人的就是损失函数。