论文阅读——Segmenting Medical MRI via Recurrent Decoding Cell

论文阅读之循环解码单元用于MRI医学图像分割

Segmenting Medical MRI via Recurrent Decoding Cell

from AAAI2020
继续看医学图像分割网络的花式变体-Recurrent思想的加入

摘要

编解码网络由于其优越的分割性能、对多级特征的融合能力广泛用于医学图像分各领域。然而在expanding path进行空间信重构的过程中没有考虑长程信息的依赖问题，以及边界啊网络也没有很好的利用多级信息来提升模型的鲁棒性。因此本文提出一种新的循环解码单元（Recurrent Decoding Cell，RDC）用于在解码时记忆长程信息，并以此组件循环卷积解码网络（Convolutional Recurrent Decoding Network,CRDN)用于脑补MRI图像的分割，一方面减小了模型尺寸，另一方面增强了对噪声、图像强度不一致等问题的鲁棒性。





# Section I Introduction


MRI图像对于疾病诊断、神经科学等十分重要，但像素级的人工标注费时费力需要探索自动化的分割方法。早期多是基于聚类的方法但对于非同质的MRI图像鲁邦鑫不够；后来得益于DNN强大的特征提取能力，衍生出基于DNN的自动分割方法，其中FCN是分割网络的开山之作。
医学图像分割存在这3大难题：
（1）多层次特征融合。在医学图像分割中深层特征往往空间信息丢失的较多，但高级语义特征和空间信息对于精确分割都至关重要，因此分割网络需要特征融合和空间信息重构都做的比较好。
（2）多模态信息利用。以MRI脑分割为例需要扫描不同状态获得多模态信息（T1,T2,PD）因为每一次扫描对应响应的组织不同。
（3）模型的鲁棒性要求。对于医学图像分割来说很难获取足够的训练图像，因此训练好的模型往往容易过拟合、对噪声等抵抗力差。

像UNet系列的分割模型较好的解决了（1）多级信息融合问题，但任然存在问题：其解码网络通常只是将前层信息进行简单的级联或相加（concatenation or element-wise summation)而忽略了前层网络的记忆信息，也就是说虽然最后的高分辨率输出利用了前面的每一层信息但仍然丢失了长程信息之间的依赖性（记忆）。
因此为了增强解码过程总对长程信息依赖性（记忆）的利用本文提出了RDCcell，在解码的每一个阶段将对应低分辨率的score map与高分辨率但是压缩了之后的feature map结合用于融合长程空间信息和语义信息。根据循环单元的循环方式不同分为三类：基于常规循环的ConvRNN,ConvLSTM,ConvGRU.
分割多模态部分使用CRDN网络，将不同模式的图像作为输出经过一个以CNN为基础的分割网络后输出层次化的特征分割图。
本文的工作总结如下：
（1）提出新的特征融合单元RDC用于记忆长程上下文信息，采取权值共享因此可以方便插入到任意的网络中。
（2）基于RDC单元组建了CRDN网络，其中CNN用于特征提取，基于RDC的解码网络用于产生精确的分割结果同时增强对噪声等的抵抗性。

Section II Related works

编解码网络：
经典的有FCN,SegNet,UNet。FCN通过将低分辨率的得分图上采样后再与高分辨率的scoremap相加；SegNet通过unpooling，UNet则是通过转置卷积来扩大低分辨率图像完成和高分辨率图的融合。以及基于以上衍生出的一系列变体，比如CE-Net（看过），Inverted-Net还没看过要看一下。

循环神经网络
以LSTM,GRU为代表的循环神经网络善于记忆长程上下文之间的依赖关系，主要用于处理序列信息、捕捉时空信息关联等，但还没有在特征融合上进行尝试。因此本文将循环神经网络的思想用于融合不同层特征图谱之间的长程空间信息。

Section III Method

本文提出基于RDC循环解码单元的CRDN网络用于MRI图像分割，其中常规CNN用于特种证提取，基于RDC的解码网络用于融合特征、恢复高分辨率图像。经最后一个RDC单元解码出的socre map就是最终的分割图像。
Part A CRDN网络
CRDN网络如下图所示。

通过将不同模态的核磁共振图像（T1加权 T2加权 PD质子密度成像）均作为输入，输出像素级的分割结果。
编码网络：
首先输入图像经过CNN（CNN可以使VGG,ResNet等）后产生不同分辨率的特征图谱，可以看到大小减半channel翻倍。
随后将F1-FL层得到的特征图均通过5*5的卷积压缩到C个通道（C=Num_Classes)，这样得到了每一类的特征图谱，同时有效减少了模型参数。
解码网络：
解码网络是一个L层的循环网络，每一层的featuremap都在各自RDC中循环，而前一低分辨率层的RDC输出将联合本层CNN的输出作为该层RDC的输入，用来产生该层的scoremap，这样在解码过程中就将不同层次的语义特征和空间信息均考虑在内了。
而最后一个RDC的输出作为最终的scoremap，通过计算像素级的交叉熵损失用于反向传播。
Part B RDC
Recurrent Decoding Cell用于在解码网络中进行特征同和，记忆长程的上下文之间的依赖关系。因为可以吧不同层次的featuremap看作一种粒度由粗到细的序列，相邻的score map存在时间和空间上的关联性，而这部分关联性有助于提升最终的分割精度。
RDC的具体结构如下图所示，在每一个RDC cell中，前层RDC的输出看做RNN中前一时间步的隐层状态，而本层次来此CNN的输出作为当前时间步的输入，二者结合产生当前时间步的输出（也是作为下一RDC的隐层状态输入）。而类比RNN，RDC也设置了3种类型：
ConvRNN:隐层状态和当前时间步的输入通过常规的卷积计算得到当前时间步的输出

ConvLSTM:与LSTM一样，当前状态的输出通过忘记门、输入门、输出门、更新门等门控单元决定哪些信息更新，得到当前时间步的状态输出。

ConvGRU:类比GRU两个门控单元（重置门和更新门）完成当前状态的计算。

以及每一层次的RDC单元保持同样的通道数，而前层隐层状态可通过双线性插值或转置卷积达到同样的分辨率作为联合输入。

Section IV Experiments

本文随后将基于RDC的CRDN网络在MRI分割任务中进行了测试，使用的数据集有：
Brain Web,MRBrainS,HVSMR.2脑部MRI1心血管MRI。进行了分割结果的对比以及验证RDC有效性的消融实验。
Brain Web：包含399slices不同模态的MRI图像（T1T2PD），train:test=239:160.
MRBrainS:提供真实的T1，Inv-T1及FLAIR序列，train:test=104:70
HVSMR:用于心室、心肌分割，train:test = 1868:1473.
评价指标：Dice系数、像素级的分割精度
Part A 消融实验
为了验证RCD的有效性开展了3种RDC的消融实验，CNN部分则采用了VGG-16,ResNet50以及UNet，5层通道数分别为：16,32,64,128,256。结果是基于VGG16和UNet作编码结合加入RDC的解码网络取得了最佳的分割精度，Resnet可能由于层数太深并不十分适合少样本的医学图像训练。

Part B 模型间对比
本文还将CRDN与其他编解码网络进行了对比（FCN,SegNet,UNet），对比结果为Table II.可以看到UNet一般取得的最好分割结果，而CRDN在UNet的基础上性能获得了进一步的提升，而且原始数据越复杂提升效果越明显。

Part C 网络鲁棒性测试
医学图像，尤其是MRI图像会受到噪声及强度不一致（Intensity-non-uniformity,INU)的影响，因此在BrainWeb分割中测试了模型对6种等级噪声、3种等级的INU的鲁棒性，可以看到随着噪声等级的提升dice系数逐渐下降，其中FCN随噪声衰退是最小的，但本身精度是最低的，而本文的CRDN最终的精度是最高的。对INU的测试也是如此。

Section V Conclusion

本文提出了基于RDC循环解码单元的CRDN网络，RDC循环解码单元可以有效捕捉长程依赖关系从而恢复出更加精确的分割图，基于此搭建的CRDN网络具有更好的鲁棒性。

recurrent的思想放在了expanding path部分，也算是recurrent的花式应用之一。
下篇暂定为