Deep Learning Based Registration文章阅读(十四）Deformable MR-CT Image Registration Using an Unsupervised, D

Deep Learning Based Registration文章阅读(十四）

本篇文章《Deformable MR-CT Image Registration Using an Unsupervised, Dual-Channel Network for Neurosurgical Guidance》来自于MIA 2021，本篇文章处理多模态问题还是基于GAN来做，通过结合CycleGAN网络来将多模态问题转为单模态问题来解。整体框架还是无监督，NCC做转为单模态后的similarity loss，个人感觉最大的创新点来自于通过将CycleGAN的输出改为输出要转为模态的mean和var，并用MLP将合成CT-CT，MR-合成MR两个估计出来的flow field做一个fusion，然后用这个flow去做两个模态的warp，并用var做pixel-wise的不确定度权重来计算两个模态的NCC作为最终无监督的loss。总体框架如下图：

CycleGAN

c图表明，最后的输出改为两个，一个mean，一个var。d图表明，判别器对根据Laplace分布sample到的图像从三个level进行判别。值得一提的是，sampling过程不是可微的，这篇文章用到了”重参数化“trick。

Registration

基本沿用了VoxelMorph以及微分同胚VoxelMorph，值得一提的是，因为CycleGAN输出了var，这个var作为一种不确定度来pixel-wise加权到每一个warp后的转换模态的mean，然后再计算NCC。


PS：其他部分就直接看原文，都比较好理解。