E^2Net:一种用于精确分割肝脏和肿瘤的边缘增强网络
背景
肝癌是全球癌症死亡的主要原因。CT常用于腹部器官的成像,开发准确的、健壮的和自动化的从CT扫描中分割肝脏和肿瘤的技术,以帮助临床医生进行肝癌的诊断、手术计划和精确的医学治疗、临床实践是非常需要的。
但面临着肝脏、肿瘤和邻近器官组织之间的对比度低、边界模糊,和不同患者体内肿瘤的大小、形状、位置、外观、质地、数量存在很大差异,导致肝脏和肝脏肿瘤的分割非常困难。
创新点
提出了一种强大的2D分割模型,通过利用和强调肝脏和肿瘤的边缘信息作为补充信息来分割肝脏和肿瘤。
贡献
-
模型使用边缘增强代价函数来训练,它显式地对网络中的互补和区分特征信息进行建模,以保持肝脏和肿瘤的边界。
-
提出了一种深度交叉特征融合模块,用于双向提取目标及其边缘的多尺度特征。
-
在公开可用的LITS和3DIRCADb数据集上的大量实验表明,与目前最先进的用于肝脏和肿瘤分割的2D、3D和混合模型相比,该方法具有更好的性能。
方法
整体分为两个阶段进行分割,先用R2Net粗分割出肝脏区域,再通过粗分割出来的肝脏区域裁剪输入,使用E^2Net进行肝脏和肿瘤的精细分割。
第一阶段:肝脏粗分割
使用Res2Net-50作为主干,从CT图像中提取多尺度特征。
第二阶段:使用E^2Net进行准确的肝脏和肿瘤分割
基于粗略的肝脏分割结果,对图像进行裁剪,去除大部分不相关的区域,作为输入。
由于越靠近边界的像素越难分割,相较于R2UNet,E^2Net引入了一个额外的结构与R2UNet相同的分支来显式的学习边缘预测的特征,最后将两个分支提取到的特征进行融合。(b)
使用边界作为监督信息:首先对边缘图像进行距离变换,得到距离图。然后我们将其与二进制肝脏或肿瘤掩码相乘,并将其归一化为[0,1],最后使用1减去归一化的结果作为监督,离边缘越近的像素的值更大。
改进(c):提出了一种深度交叉特征融合模块(d)来提炼多尺度特征F1和F2。对于来自一个分支的每个尺度的特征,使用来自另一个分支的所有相同或更大尺度的特征来对其进行细化。
损失函数
因为交叉熵只关注单个像素,而忽略了整体结构,这里使用了二分类交叉熵BCELoss和IoULoss(关注整体结构)
第一阶段:
第二阶段:
s1为第一个分支的分割图,e为边缘监督信息的分割图,s2为s1和e融合后的分割图。gm为肝脏肿瘤mask,ge为处理后的边缘增强监督mask
不足
一些很小且与周围肝脏区域对比度较低的肿瘤不能被精确的分割。对于E^2Net来说,仅提供2D平面内信息可能不足以学习区分它们的区分特征。可以将连续的切片结合,获取3D空间的上下文信息,以获得更好的分割效果。