Accurate and robust deep learning-based segmentation of the prostate clinical target volume in ultrasound images
文章链接:
- Accurate and robust deep learning-based segmentation of the prostate clinical target volume in ultrasound images,DOI: 10.1016/j.media.2019.07.005,可以去NCBI上面搜索,2019年miccai best paper。
- Accurate and Robust Segmentation of the Clinical Target Volume for Prostate Brachytherapy, 链接:https://link.springer.com/chapter/10.1007%2F978-3-030-00937-3_61(2018年的会议论文,两篇文章相差不大,2019年的做了一点小改进,然后介绍更全面一点)
主要贡献
通过预估分割的不确定性来识别测试集种的难识别图像,并用先验形状信息来改善不确定分割,主要贡献如下:
- 提出了一个新的CNN架构(改进了一下U-net),用于计算多尺度特征,然后用这些特征来预测CTV分割。与其他标准网络架构相比,该架构可以提高分割准确性。
- 自适应的从训练集中采样,以使训练的模型在difficult图像上获得更准确的分割。为此,首先利用CAE学习出的feature,来学习训练图像的相似性。然后,在CNN训练期间,优先采样哪些与验证集种的difficult图像更相似的图像作为训练图像。
- 估计segmentation prediction的不准确性,并使用CTV预期的形状先验知识来改善分割不确定性。为了预估分割的不确定性,训练了一系列的分割模型,并提出根据这些模型预测结果的不一致程度来估计分割的不确定性。
主要方法
Clustering of the training images
文章的目标是在difficult image上取得高的准确率,为此,需要在验证集中先识别出difficult image,然后基于每个图像对于提高这些difficult image的分割所作出的贡献来采样训练图像,也就是选与difficult image相似的图像来作为训练集。因此,文中提出了用稀疏子空间聚类+CAE的方法来度量图像的相似度。
CAE的架构如图所示,z_enc代表CAE的编码部分所提取的图像特征,Γ代表一个变换矩阵,而z_dec代表z_enc做了Γ变换后的特征矩阵,同时也是CAE解码部分的输入。
具体实现分为两个阶段:第一阶段,取Γ=I,先训练一个标准的CAE出来;第二阶段,引入Γ训练完整模型:
相似度矩阵:C = |Γ| + |Γ^T|
Proposed CNN architecture
与U-NET使用相同大小的滤波器不同,文中提出对输入图像应用不同大小的卷积滤波器(k∈{3,5,7,9,11})和相应的步幅(s∈{1,2,3,4,5}),图上只画出了3层,实际应用是有5层的,包括c-9,c-11。
Training a CNN ensemble with adaptive sampling
训练5个CNN模型组成一系列CNN模型,对每个模型采取5-折交叉验证的方法进行训练。将训练集和验证集记为S_tr和S_vl,e_i为CNN在当前迭代后验证集第i个图像的误差。训练流程如下图所示:
对下一次迭代,根据图像与验证集中difficult image的相似度来选取训练样本。计算第j个训练图像的probability:
在最开始,初始化p为标准分布。选择霍夫距离来计算误差e。
Improving uncertain segmentations using an SSM
通过计算5个CNN模型(两两之间算DSC)的DSC平均值,如果算出来的均值高于0.95,就认为五个模型预测一致性较高,那么最后的分割结果就直接取5个CNN模型的probability map的平均值,然后取0.5为阈值,将其映射为二值分割图。如果低于0.95,就表示不一致程度较高,那么就要进行改善啦。
具体改善方法:
首先,利用75张MR图像的训练了一个SSM模型出来(具体咋训练的不知道),这个模型包含两个重要信息u和V,分别表示平均形状和以n个最重要的形状模式作为其列的矩阵。
然后,先用这5个模型求平均的方法来求出一个初始分割图S_init,平均probability map记为p¯,利用p¯计算分割不确定图uncertainty map:
然后利用上面的信息,计算改进后的分割S_impr:
具体的参数说明可以看原文。下图就是最终的实验结果啦。
(a)表示预测较为一致的情况,(b)就是取平均后的最终分割结果;©表示预测比较不一致的情况,(d)表示初始分割图S_init,(e)中蓝线表示改进后的分割S_impr,红线表示S_init,绿线表示