近几年关于OAR分割的方法主要分两类:深度学习、其他方法。其中深度学习的方法使用最多,占比约60%,并且有越来越高的趋势。多图谱相关论文也比较多,占剩余的一半,其他各种机器学习以及传统算法数量较少。
深度学习:基于2D、2.5D、3D卷积核的各种CNN。出名的有U-Net、3D U-Net、V-Net等。
2D 卷积通常使用的是slice by slice的方式训练,忽略了每层之间的空间联系,特别对于一些模糊的物体很不利。2.5D 卷积依然采用的是2D卷积核,但多了几个正交的卷积视图。这两种卷积方法现在使用的少了,近几年OAR分割的深度学习论文基本上都采用3D卷积的方法。
3D卷积相对于2D卷积对计算和内存有了更多的要求,同时由于训练参数的增加以及医学图像数据的稀少优化更加困难。2016年提出的3D U-Net是这一领域非常高引用的框架,后面有很多基于3D U-Net进行OAR分割的算法。
使用image segmentation和organs at risk等关键字搜索,找到2019年大概有10篇左右OAR分割的论文,其中7篇神经网络,2篇图谱,1篇模糊模型AAR。神经网络中基本都采用3D卷积,其中4篇都是基于3D U-NET的改进。
其他方法:图谱、ASM、SSM、模糊模型AAR、水平集、PCA、随机森林等使用较少,并且往往都不是单独使用某种方法进行OAR分割,而是多种方法的结合。神经网络算法也有不少使用这些方法作为辅助以提高性能。
几篇论文如下:
【1】2017 方法:整合了两个基于SharpMask的网络进行器官分割,一者粗糙分割二者精炼。网络融合了CRF,不需要CRF后处理能够自动的学习空间约束。都采用了FCN中提到的跳层结构结合深浅层信息,能同时对所有需求的organ进行分割。采用7x7x7的大卷积核,声称尤其适合CT图像,并具有各种器官分割的通用性。(SharpMask是Facebook开源的分割网络结构)
【2】2015 方法:结合了多图谱(multi atlas)和主动形状模型(active shape model, ASM)进行器官分割。采用25个case作为多图谱去配准以及去建立ASM模型,将多图谱配准的结果再用ASM模型拟合精炼。 应用:头颈部器官分割,结果表明ASM只对部分器官分割有明显的提升效果,其他器官上ASM的后处理甚至不如多图谱本身的结果。所以使用中只用ASM做部分器官的效果提升,大部分器官还是直接用多图谱分割的结果。
【3】2017 方法:卷积网络对3D CT图像中的器官进行定位。 对图像三个正交视图进行2D卷积找到目标物体,最后把结果结合起来,也就是将3D定位问题转化为2D检测问题。定位就是用bounding box把目标器官包含其中,检测就是确定目标物体是否存在。
这里提到了随机森林的定位方法,称其定位精度高但时间花费大。本文声称优势在于精度和速度都不错,且仅需要有限的数据集。
【4】 2019 方法:使用一种新型CNN对头颈部OAR进行分割,称之为lifelong learning-based convolutional neural network( LL - CNN )。特点是在开始同时对多种OAR采用多任务学习框架,结合迁移学习,建立通用性的权值共享的网络,最后多任务卷积层会过渡到单任务的卷积层。
———————————————————————————————————————
【1】Joint Segmentation of Multiple Thoracic Organs in CT Images with Two Collaborative Deep Architectures
作者:Roger Trullo, Caroline Petitjean …
【2】Multi Atlas Segmentation with Active Shape Model Refifinement for Multi-Organ Segmentation in Head and Neck Cancer Radiotherapy Planning
作者:Thomas Albrecht, Tobias Gass …
【3】ConvNet-Based Localization of Anatomical Structures in 3-D Medical Images
作者:Bob D. de Vos∗, Jelmer M. Wolterink
【4】A Convolutional Neural Network Algorithm for Automatic Segmentation of Head and
Neck Organs-at-Risk Using Deep Lifelong Learning
作者:Jason W. Chan MD*, Vasant Kearney PhD* …