Organ at Risk Segmentation for Head and Neck Cancer using Stratified Learning and Neural Architecture Search
摘要
风险器官(OAR)分割是头颈部(H&N)癌症放射治疗中的关键步骤,放射肿瘤学家之间的不一致性和高昂的劳动力成本推动了自动化方法。然而,使用标准全卷积网络工作流的领先方法在桨数变大时受到挑战,例如,OAR个数大40的时候于对于这种情况,可以从手动临床OAR描绘中看到的分层方法中获得见解。作者提出了分层风险器官分割(SOARS)模型,这是一种将OAR分为anchor、mid_level和small&hard(S&H)类别的方法。SOARS在两个维度上分层。第一个维度是每个OAR类别使用不同的处理框架。特别是,受临床实践的启发,anchor用于指导中级和S&H类别。第二个维度是使用不同的网络架构来管理不同OAR之间的显著对比度、大小和解剖差异。作者使用可微神经结构搜索(NAS),允许网络在2D、3D或伪3D卷积中进行选择。对142h&N名癌症患者进行了广泛的4倍交叉验证,其中42名患者使用了人工标记的OAR,这是迄今为止最全面的OAR数据集,表明框架和NAS分层显著改善了最先进的定量性能(Dice绝对得分从70.44%提高到75.14%)。因此,SOARS提供了一种强大且有原则的方法来管理高度复杂的OAR分割空间。
Stratified Learning and Neural Architecture Search 模型
作者对不同的分类器官,使用不同层进行学习和分割,并把anchor的预测用于指导,mid_level,和small&hard 的分割(第一个维度),并使用Neural Architecture Search(NAS),对主干网路PHNN搜索尝试不同的卷积模块,来获取更高的分割精度,以及鲁棒性能。
分层学习:分层是将复杂任务分解为更简单子任务的有效策略。在医学影像学中,分层统计学习也被用于识别候选结节是否与任何其他主要肺部解剖结构相连接。然而,分层学习在语义分割中的应用,特别是在深度学习时代,在医学影像学中仍然相对缺乏研究。作者是第一个执行分层学习的对深度高危器官分割。
神经网络搜索:现代的深度神经网络有时会包含多种类型的层,而且这些层不止一个。Skip connections和子模块方法也被用来促进模型的收敛,它们对可能形成的模型体系结构的空间没有限制。目前大多数的深度神经网络结构都是根据人类经验建立起来的,这种方式需要一个漫长而繁琐的试错过程。NAS试图在不需要人工干预的情况下能够针对特定深度学习问题检测出有效架构。一般来说,NAS可以分为三个维度——搜索空间、搜索策略和性能评估策略。NAS成功地建立了更深层次的神经网络体系结构,其精度超过了人工构建的结构。利用进化算法和强化学习,特别是在图像分类任务领域,NAS生成的最新体系结构得到了发展。这种方法是昂贵的,因为在NAS产生成功的结果之前,需要对成百上千个特定的深层神经网络进行训练和测试。NAS方法对于大多数实际应用程序花费代价太高。
主干网络PHNN
P-HNN 这是一种更深层次可以访问更高级别的抽象特征,合并来自不同的网络阶段的预测,允许不同级别和尺度的贡献得到最终的结果。它和FCN网络类似,但是不同点在于,FCN网络是一个有粗到精细的分割过程,PHNN它则是一个选择对多尺度路径的进化约束,并且不需要额外的卷积层或网络参数。最初是在病理性肺部分割中被提出。
对于图C来说,这是三个不同的卷积模块,整个网络就是在NAS的搜索下,对主干网路中的卷积模块分别尝试,2D conv,3D conv ,以及P3D conv (伪3D),以获得更好的分割准确率。
对于anchor层,首先我们规定网络的输入为集合S
这里Xn 即是我们输入的CT图像,YA,指的是anchor的手工标注的图像,YM指的是mid_level的手工标注,YN指的是small&hard的手工标注。
pA是我们的网络模型训练函数,c指的是在anchor中器官的类别数目,WA指的是模型的参数。
Y^是网络预测的一个结果。同时输入到mid_level和small&hard中,用于指导其他两层的分割。
同理,对于mid_level
small&hard
只不过对于samll&hard来说,使用了一个不同的策略,作者使用的一种先分检测后分割的方法。具体来说就是,作者使用了先使用了一个热力图回归的方式,检测器官的中心区域,其中使用3D高斯核在每个器官中心创建热图标签。
热图回归:大致思路是,根据人工标注的特征点坐标,构建一个热图,热图和原图相同大小,在热图里,越靠近特征点,像素值越大,反之越小,特征点在热图中类似一个个的光斑。构建的这个热图,就是CNN的标签,相当于语义分割的ground-truth mask,然后让CNN网络去回归这个热图。
结果
在其他数据集上表现
由上可见,作者提出的方法,在多个数据集上表现均取得一定程度精度上的提高。
结论
这项工作提出了SOARS,一个新的框架,将H&N桨分割成二维。受临床实践的启发,我们将OAR分为三类:锚定、中级和S&H,为每一类提供定制的处理框架。重要的是,中级和S&H分支基于锚分支更可靠的预测。此外,我们对网络架构进行分层,为每个架构执行有效的NAS。我们在迄今为止最全面的H&N数据集上进行测试,该数据集包括42个不同的OAR。与SOTA方法相比,中级和S&H桨的改进最为显著。有了这一点,我们证明了我们提出的SOARS可以超越所有最先进的基线网络,包括最新的代表性作品UaNet,提升4%。在DSC中为70%。因此,我们的工作是朝着可靠和自动化的H&N OAR分割迈出的重要一步。