图像配准是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像映射到另一幅图像,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。
本文发表在2018上,作者使用CNN实现了非监督的医学图像配准,精确度与STOA持平,但由于非监督速度大幅提升。文章的贡献有三:
- 提出了一种基于学习的解决方案,不需要在训练过程中获取诸如ground truth对应或解剖标志等信息;
- 提出一个参数跨种群共享的CNN函数,通过函数评估实现配准;
- 参数优化的方法可以使用各种代价函数,从而适应各种任务;
网络架构如图:
输入为160 × 192 × 224×1的两张单通道灰度图(moving和fixed)叠加成160 × 192 × 224×2。通过CNN学习函数g,CNN的输入即φ配准域,p是体素,φ(p)是图像中的具体位置,F(p)和M(φ(p))确定了相似的解剖位置。
文章定义了空间转换函数,使用差值的形式将配准域转换为最终的配准图:
网络通过梯度下降进行优化,定义的损失函数是常规配准的能量函数上进行改进,常规的能量函数做代价函数如(1)(2),其中Lsim(·, ·)定义了原图和配准图的相似度,Lsmooth是为了配准图变换得更加平滑而增加的惩罚项。
本文的损失函数定义为:
其中CC为互相关函数:
测试评价指标为常见的Dice Score:
文章中采用的CNN为类似Unet的结构: