0 Abstract
我们提出利用一个对抗性网络来区分专家和生成的注释,以训练对好的分割进行了学习参数化,因此我们假设该方法对于复杂结构的小型数据集上的分割任务具有独特的优势。在我们的实验中也是如此:我们学习利用 152 名患者的 MRI 图像来分割侵袭性前列腺癌,结果表明,在检测侵袭性前列腺癌的灵敏度和骰子得分方面,提出的方案优于行业标准。所取得的相对增益在小数据集中表现得尤为明显。
1 Introduction
我们提出一种基于 fcnmr 的前列腺区域联合分割方法,以及通过端到端的、完全自动的、纯对抗性训练来学习的靶向癌结节。
2 Methods
用于语义分割的对抗性训练 生成对抗性网络(GANs)构成了一种通过对抗性过程估计生成模型的新型框架,其中一个生成性模型G和一个判别性模型D(例如,两个神经网络)同时训练[14]。一般的想法类似于两个模型之间的对决,其中一个模型仿冒例如图像,另一个模型估计它们是否是假的概率。这种竞争在理想情况下会促使两个模型不断改进,直到假图像与真图像无法区分。当作为一个生成模型运行时,G = G (z )∼ pg接收随机噪声z∼ pz作为输入。经过最优的训练过程后,可以证明pg与pdata相匹配,pdata是管理真实数据样本x的分布[14]。训练过程被证明为最优训练过程,其形式为双目标。
我们建议对 FCNs 使用纯对抗性训练。在语义分割的行业标准训练中, FCNs 被训练最小化一个多类交叉熵损失判定,对于 M 的每个像素 j 和一小批量 N 中的每个样本,惩罚偏离正确的目标标记向量 yi , j :
GANs已被证明在图像合成等生成性应用中取得了巨大的成功。条件 GANs 被引入用于解决诸如文本到图像的翻译[15]、图像到图像的翻译[3]或单个图像的超分辨率[16]等问题。有条件的GANs除了z之外,还接收一个额外的非随机输入,以满足以下条件: 1.
由于这个原因,它们与语义分割的任务密切相关,其中D可被解释为学习的高阶损耗,这是最近实现的一种潜力[3,4]。对抗式训练的优点在于它不会给模型引入额外的复杂性,并且不需要手动设计高阶损失,从而得到非常高效的模型。在本文中,我们提出采用纯对抗性训练的FCNs。在语义分割的事实上的标准训练中,FCNs被训练成最小化的多类交叉熵损失Lmce,对M中的每一个像素j和大小为N的minibatch中的每一个样本i来说,它惩罚了与正确的目标标签向量yi,j的偏差。
这里我们将之前的生成器网络G称为分段器S,以承认我们的方法的非生成性。相比之下,逆向训练方案需要一个与分段器S一起训练的判别器D。
根据Eq.1,S然后使LS = -LD最小化。然而,我们遵循[14],在对手D非常准确地对真假分割进行分类的情况下,我们使用下面的损失项,以获得更大的梯度信号。
该方案如图1所示。Luc等人[4]提出了一个混合损失项,以加权总和的形式表示,L0S(θD,θS)=LS+λLmce,我们在下文中也对其进行了比较。最佳训练要求D在任何时候都要接近其最优解。为此,D可以使用k个小批量梯度下降步骤来训练D[14]。
MRI数据集 采用德国海德堡国家肿瘤疾病中心(NCT)的西门子Prisma 3.0 T机采集的152例MRI患者。所有患者均有可疑的筛查结果和核心活检结果的病理分类,即Gleason评分(GS)[17].图像分析基于T2-加权图像(T2w)、明显扩散系数(ADC)图和b=1500 s mm-2的高b值扩散加权图像(b1500)。T2w图像的平面内分辨率为0.25 mm,其他两种模式相应地进行了升采样。前列腺的解剖学细节以及病变情况都由有经验的放射科医生在T2w和ADC图上独立分段。注释包括三类:肿瘤病变、外周区和过渡区。注册使用刚性平移,最大限度地增加了PZ掩模之间的重叠。两个独立的分割通过标签共识进行融合。
训练 为了提供有意义的比较,训练协议是相同的所有评估方案。我们使用一组55名患者(Sagg),包括188个2D切片,活检证实侵袭性肿瘤病变GS≥7和97名患者(Sf ree),475个2D切片,被诊断为无病变(切片大小3×416×416)。在每个交叉验证permutation中,2个褶皱用于训练模型,1个褶皱用于根据肿瘤骰子的模型选择,1个褶皱用于验证。所有的分割模型都被训练了225个历次,每个随机抽样80个批次,使用10-5的初始学习率(LR),每75个历次减半。在对抗性训练方案中,我们对每一个批次的分割器训练3个批次的判别器D进行训练,同时对D使用固定的LR = 10-5进行参数优化。训练数据通过平面内旋转角度φ∼ U [-π/8, π/8],用(Δx, Δy) 遮罩移位(U [-50, 50], U [-50, 50])和随机左右镜像来增强训练数据。我们使用5个批次的重要度抽样,平均每批Sagg中的样本数为3.5个。
网络架构 我们在每个实验中使用了一个相同的 "U-Net "类型的分段器架构[19]。我们沿用了[3],使用InstanceNorm代替BatchNorm,推测它可以避免小批处理量带来的有害随机性。让CLk表示具有k个滤波器的Convolution-InstanceNormleakyReLU层,Ck表示Convolution-InstanceNorm-ReLU层。那么分割器的编码器的形式如下。CL64-CL128-CL256-CL512-CL1024,而解码器可以表示为。C512-C256-C256-C128-64-C4。大部分判别器采用的结构与分段器编码器的结构相仿。CL64-CL128-CL256-CL512-CL512-CL1024-GPD1,其中GPD1表示全局平均池化层,后面是密集层,有一个输出节点。InstanceNorm既不应用于S和D中的第一层,也不应用于最后一层,卷积层采用3×3-filters,除了S的解码器中的最后一层采用1×1-filters。D采用7×416×416输入,其特点是3个通道用于MRI模式,4个通道编码类标签。
3 Results
对抗性方法在肿瘤分割方面得分明显好于Dice系数(DSC)以及灵敏度(Tab.1,p <0.001,使用Wilcoxon符号秩父检验)。方法之间的特异性是相等的。
图2说明了考试的分段。使用与[4]相同权重的混合损失并没有提供进一步的改进。为了评估训练方案在逐渐变小的数据集上的比较,我们依次从两种方案一致的折叠中抽取正向训练样本,在这两个方案上表现最好的样本。我们以与上述完全相同的方式进行训练,并从之前的相同的折叠上进行评估。结果如图3所示
图2:描述三种MRI模式的例子,专家注释为以及用不同的损失方案训练分割器网络产生的分割。从左边的前两列,即a)列,描述的是对抗性明显对侵袭性肿瘤更敏感的例子比交叉熵训练的方法要好。b)栏显示的是两种方法相同的例子。c)列显示了逆向训练方法的特征实例。产生部分有缺陷的标签图。d)栏展示了以下例子:这两种方法都大大地偏离了实事求是,其中第一种方法很可能显示出这两种方法的肿瘤检测,被专家错过了。
4 Discussion
就我们所知,我们是第一个引入逆向训练的概念,用于医学图像的语义分割。对抗者D构成了一个学习范式,它捕捉到了一个似是而非的分割的本质--在传统的交叉熵训练中无法利用的信息。我们的实验表明,所提出的方法更有效率,并提高了检测灵敏度和侵袭性前列腺癌的骰子得分,这是一个具有挑战性的分割任务,由于前列腺的强组织异质性和微妙的肿瘤外观的前列腺的组织异质性。
图3:当连续取走训练数据时,逆向训练和交叉熵训练在肿瘤DSC(a)和灵敏度(b)方面的性能比较。上面的面板显示了这两种方案的各自分布。下边的面板显示了逆向训练与交叉熵训练的中位数的相对增益,在小数据集的限制下,特别明显的增益可见。所有实验中的特异性(未显示)约为0.98。