2019-8-29 Medical image papers in CVPR

Medical image paper in CVPR 2019

医疗图像分割的Challenge主要有：

• 医疗图像的标注需要专业的医学知识，且像素级别的标注费时费力，所以缺少像素级别标注好的医疗图像。
  – 半监督，弱监督 …
  – Data augmentation (合成有标注的图像)
• 在三维的医疗图像（CT, MRI）或者超高清的二维医疗图像上跑深度网络会超过GPU显存的限制
  – 对全局的图像降采样 / 切局部的patch输入神经网络 / 结合全局和局部的信息
  – 多尺度提取特征
• 分割效果不好
  – 可以修改loss function，一般的loss function采用cross entropy loss 或者 Dice loss，他们都没有考虑几何信息，所以提出了边缘长度和区域信息相结合的loss function。

1 Collaborative Global-Local Networks for Memory-Efficient Segmentation of Ultra-High Resolution Images¹

Task：

分割超高清图像（无法全部送进网络训练）

Method:

把原超高清图像downsample一支，crop patch一支，分别输入结构相同的网络训练，两个网络对应的每一层的feature map双向共享。由Figure 5，可以看出特征图需要转换到同一个语义信息下再channel wise拼接到一起。最后一层的global和local之间的feature map要经过regularization，因为local的网络倾向于预测出过于精细的纹理（groundtruth里不存在），所以加了一个特征之间差的二范数，只更新local branch，目的是让local branch训练得慢一些。


为了解决前后背景体素个数不均衡的问题，先用global branch粗分割出前景的区域，然后只crop出这个前景，作为local branch的输入，特征共享也只在这个前景区域。

Result

越左上角，越省显存，准确性更高，红点为该论文的网络。

2 Deep Q learning driven CT pancreas segmentation with geometry-aware U-Net²

Task: 在三维CT数据中分割胰腺

Method:

在三个方向切片然后用DQN网络学出如何在2D图像上定位胰腺，只把胰腺区域crop出来并送入U-Net做分割，把结果拼起来，并对三个结果做投票，得到最终的分割结果。

DQN Network

定义了10个action（5个缩放，4个平移，1个终止），如下图所示。

DQN网络的输入（state）：2D的CT slice。
DQN网络的输出（Q value）：每个action对应的未来总收益之和。
action就选DQN网络输出的最大的value对应的action。

reward定义：

DQN网络的定位过程实例：

3 Adaptive Weighting Multi-field-of-view CNN for semantic segmentation in pathology [^3]

Task: Segment lesion in pathology images

Method: 用三个CNN网络学习三个尺度的特征，然后ensemble结果，学习这个投票的权重

Pretrain好$CN{N}_1,CN{N}_2,CN{N}_3$之后，把三个尺度的patch输入到Weighting CNN中训练，权重$W_1,w_2,w_3$是三个expert CNN网络的分割结果的Dice指标。训练好weighting CNN后，fix住这个网络，然后训练虚线框里的四个网络$F_{E_1},F_{E_2},f_{E_3},f_A$，权重用此时weighting CNN预测出的结果，（这时候finetune$F_{E_1},F_{E_2},f_{E_3}$会让三个网络更专业化，即四个维恩图并更大）。然后再交替训练$f_W$和$F_{E_1},F_{E_2},f_{E_3},f_A$。

4 Collaborative learning of semi-supervised segmentation and classification for medical images ³

Task: 有~$\times 10^1$ 张像素级标注的图像$X^P$，~$\times 10^4$张图像级标注的图像$X^I$。利用大量没有pixel level标注的图像做半监督的分割。

先用$X^P$pretrain分割网络（下图黄色部分的网络），用$X^I$pretrain分类网络（下下图蓝色网络）。然后把大量的$X^I$输入到分割网络中生成一个粗略的预测图。把$X^P$concate其分割结果$\widehat{mas{k}_l^P}$（4 channel）和$X^I$concate其分割结果$\widehat{mas{k}_l^I}$（4 channel）输入到一个判别器中，因为判别器会越区分越准，所以生成器会使生成的image mask supervised by image-level annotated data越来越逼近supervised by pixel-level annotated data。
分割模型的loss function: $L_{CE}(\widehat{mas{k}_l^P},G{T}_l^P)+L_{CE}(\widehat{mas{k}_l^I},\widetilde{G{T}_l^I})+L_{adv}$

$X^I$和$X^I$的初步分割mask$\widehat{mas{k}_l^I}$会被输入到下图的网络学习到lesion masks $\widetilde{G{T}_l^I}$，并传回到分割网络，作为分割结果的伪groundtruth。并且pseudo lesion mask会帮助finetune分类网络，分类网络又会帮助refine pseudo lesion masks。所以把分割和分类问题放到一个端到端的网络里可以互相提高。

5 Learning active contour models for medical image segmentation ⁴

Task: 保持分割结果的形状

Method: 将轮廓长度和轮廓内部和外部的能量约束整合进loss function

---

1. Chen W, Jiang Z, Wang Z, et al. Collaborative global-local networks for memory-efficient segmentation of ultra-high resolution images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8924-8933. ↩︎

2. Tokunaga H, Teramoto Y, Yoshizawa A, et al. Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 12597-12606. ↩︎

3. Zhou Y, He X, Huang L, et al. Collaborative Learning of Semi-Supervised Segmentation and Classification for Medical Images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 2079-2088. ↩︎

4. Chen X, Williams B M, Vallabhaneni S R, et al. Learning Active Contour Models for Medical Image Segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 11632-11640. ↩︎