「Medical Image Analysis」Note on Combining Faster R-CNN and U-net Network

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/84995897

作者：Zhanwei Xu, Ziyi Wu, Jianjiang Feng
单位：清华大学

0 摘要

结合Faster R-CNN和U-net，比较容易想到的是，前者用于粗定位，后者用于细分割。【两个分割网络也可以完成粗定位和细分割，但是Faster R-CNN是分类型网络，没有上采样阶段，因此会更有效率一些。】提出3D Edge-loss，作为辅助损失，加速训练的收敛和提升分割的结果。

1 介绍

tiling strategy测试的局限：1、没有捕获心脏解剖的global constraint；2、浪费计算资源，如果在全图上做预测。
作者的改动：1、Faster里面是多类别检测，这里是前景-背景两类；、Faster的骨干网络ResNet被P3D替换，作者认为P3D更适用于CT图像【横断面或z轴spacing特点】；3、采用新的3D 边缘损失。

2 相关工作

2.1 传统方法

指出基于模型和基于图谱传统方法的局限：1、难以推广到其他器官的分割，是这两类方法的本身原因；2、难以利用好GPU；3、手工设计的特征并非optimal。

2.2 基于3D U-net的分割网络

2.3 Faster R-CNN和基于区域候选检测框的分割

指出Mask R-CNN难以handle整心脏分割，不如CFUN方法。

3 方法

如图1所示。

图 1：CFUN的工作流

3.1 心脏检测和定位

三维医学图像类比视频数据，frame dimension类比z-axis，因此采用P3D ResNet。再加上特征金字塔FPN。

3.2 心脏分割

3.3 边缘损失

Sobel边缘检测器，并求得L2损失，作为边缘损失。计算如下：
$$L_{edge}=\frac{1}{C}\frac{1}{K}\frac{1}{M}\sum _{c=1}^C\sum _{k=1}^K\sum _{m=1}^M||E_k(y{)}_m^c-E_k(p{)}_m^c|{|}_2$$

总的损失由四部分加权组合：
$$Loss=w_1{L}_{box}+w_2{L}_{cls}+w_3{L}_{seg}+w_4{L}_{edge}$$
论文设置的权重为2：2：2：1。

4 实验

4.1 数据集

60个心脏CT数据，20个训练容积，40个测试容积。7个解剖结构，即7个类别，包括：1、左心室血腔the left ventricle blood cavity，2、左心室心肌the myocardium of the left ventricle，3、右心室血腔the right ventricle blood cavity，4、左心房血腔the left atrium blood cavity，5、右心房血腔the right atrium blood cavity，6、下降主动脉the ascending aorta，7、肺动脉the pulmonary artery。
作者将40套测试容积数据，重新标记，然后当做训练集，将20套训练容积数据当做验证集（5套）和测试集（15套）。
分割40套数据，然后提交评估，得到0.88 Dice。

4.2 训练策略和细节

不带边缘损失training 300 epochs，带边缘损失fine-tuning 100 epoch。因为有40个数据，那么相当于迭代12000次。

4.3 测试结果

如表1所示。85.9%的Dice比不过SEG-CNN。分割时间小于10秒，如果考虑数据读取和后处理时间，那么分割时间小于15秒。采用tiling策略的方法，可能要花费几分钟。

表1

5 消融实验

5.1 采用不同特征图作为3D U-net的输入

比较了三种：1、the aligned original image I(O)；2、the aligned corresponding conv layers I©；3、the aligned corresponding feature maps I§。这些都在RoI里面。I§类似于Mask R-CNN。I(O)的策略最好。

5.2 是否采用边缘损失，有无检测框优化

证明了检测框优化提升了定位精度（7个点），边缘损失提升了分割质量（13个点）。看来边缘损失很有效！！！

6 结论

略

[1] CFUN Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation ArXiv 2018 [paper] [Pytorch code]