QQ Group: 428014259
Tencent E-mail:403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/84995897
作者:Zhanwei Xu, Ziyi Wu, Jianjiang Feng
单位:清华大学
0 摘要
结合Faster R-CNN和U-net,比较容易想到的是,前者用于粗定位,后者用于细分割。【两个分割网络也可以完成粗定位和细分割,但是Faster R-CNN是分类型网络,没有上采样阶段,因此会更有效率一些。】提出3D Edge-loss,作为辅助损失,加速训练的收敛和提升分割的结果。
1 介绍
tiling strategy测试的局限:1、没有捕获心脏解剖的global constraint;2、浪费计算资源,如果在全图上做预测。
作者的改动:1、Faster里面是多类别检测,这里是前景-背景两类;、Faster的骨干网络ResNet被P3D替换,作者认为P3D更适用于CT图像【横断面或z轴spacing特点】;3、采用新的3D 边缘损失。
2 相关工作
2.1 传统方法
指出基于模型和基于图谱传统方法的局限:1、难以推广到其他器官的分割,是这两类方法的本身原因;2、难以利用好GPU;3、手工设计的特征并非optimal。
2.2 基于3D U-net的分割网络
2.3 Faster R-CNN和基于区域候选检测框的分割
指出Mask R-CNN难以handle整心脏分割,不如CFUN方法。
3 方法
如图1所示。
3.1 心脏检测和定位
三维医学图像类比视频数据,frame dimension类比z-axis,因此采用P3D ResNet。再加上特征金字塔FPN。
3.2 心脏分割
3.3 边缘损失
Sobel边缘检测器,并求得L2损失,作为边缘损失。计算如下:
L
e
d
g
e
=
1
C
1
K
1
M
∑
c
=
1
C
∑
k
=
1
K
∑
m
=
1
M
∣
∣
E
k
(
y
)
m
c
−
E
k
(
p
)
m
c
∣
∣
2
L_{edge}=\frac{1}{C} \frac{1}{K} \frac{1}{M} \displaystyle\sum_{c=1}^C \displaystyle\sum_{k=1}^K \displaystyle\sum_{m=1}^M ||E_{k}(y)^{c}_{m}-E_{k}(p)^{c}_{m}||_{2}
Ledge=C1K1M1c=1∑Ck=1∑Km=1∑M∣∣Ek(y)mc−Ek(p)mc∣∣2
总的损失由四部分加权组合:
L
o
s
s
=
w
1
L
b
o
x
+
w
2
L
c
l
s
+
w
3
L
s
e
g
+
w
4
L
e
d
g
e
Loss=w_1L_{box}+w_2L_{cls}+w_3L_{seg}+w_4L_{edge}
Loss=w1Lbox+w2Lcls+w3Lseg+w4Ledge
论文设置的权重为2:2:2:1。
4 实验
4.1 数据集
60个心脏CT数据,20个训练容积,40个测试容积。7个解剖结构,即7个类别,包括:1、左心室血腔the left ventricle blood cavity,2、左心室心肌the myocardium of the left ventricle,3、右心室血腔the right ventricle blood cavity,4、左心房血腔the left atrium blood cavity,5、右心房血腔the right atrium blood cavity,6、下降主动脉the ascending aorta,7、肺动脉the pulmonary artery。
作者将40套测试容积数据,重新标记,然后当做训练集,将20套训练容积数据当做验证集(5套)和测试集(15套)。
分割40套数据,然后提交评估,得到0.88 Dice。
4.2 训练策略和细节
不带边缘损失training 300 epochs,带边缘损失fine-tuning 100 epoch。因为有40个数据,那么相当于迭代12000次。
4.3 测试结果
如表1所示。85.9%的Dice比不过SEG-CNN。分割时间小于10秒,如果考虑数据读取和后处理时间,那么分割时间小于15秒。采用tiling策略的方法,可能要花费几分钟。
5 消融实验
5.1 采用不同特征图作为3D U-net的输入
比较了三种:1、the aligned original image I(O);2、the aligned corresponding conv layers I©;3、the aligned corresponding feature maps I§。这些都在RoI里面。I§类似于Mask R-CNN。I(O)的策略最好。
5.2 是否采用边缘损失,有无检测框优化
证明了检测框优化提升了定位精度(7个点),边缘损失提升了分割质量(13个点)。看来边缘损失很有效!!!
6 结论
略
[1] CFUN Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation ArXiv 2018 [paper] [Pytorch code]