笔记：Learning Calibrated Medical Image Segmentation via Multi-rater Agreement Modeling

Learning Calibrated Medical Image Segmentation via Multi-rater Agreement Modeling（通过多评分者协议建模学习校正医学图像分割）

链接：https://www.jianshu.com/p/a82c0ad728f1

       在医学图像分析中，通常需要收集多个注释，每个注释来自不同的临床专家或评分者，以期减轻可能的诊断错误。与此同时，从计算机视觉从业者的角度来看，采用ground-truth标签已经成为一种常见的做法，该标签是通过多数投票或简单的一个注释从一个首选的评分者。然而，这个过程往往忽略了原始multirater注释中根深蒂固的一致或不一致的丰富信息。为了解决这个问题，我们提出显式地建模 多评级者(dis-)协议，称为MRNet，它有两个主要贡献。首先，设计一个 专家感知推理模块(EIM)，将单个评分者的专家 经验级别作为先验知识嵌入，形成高级语义特征;其次，我们的方法能够从粗预测中重建多评分者的评分，并进一步利用多评分者(差)一致线索来提高分割性能。

贡献：

1、专家的观念是明确地引入作为先验知识的专业水平所涉及的多评级。
它通过建议的专家感知推理模块(EIM)嵌入到高级语义特征中，使表示能力能够适应多评分者设置。

2、设计了多评分者重构模块(MRM)，利用专家先验知识和模型的软预测信息重构多评分者的原始评分。通过利用融合软标签和原始的多评价者注释之间的内在关联，可以对反映评价者间可变性的不确定性图进行估计

3、为了更好地利用多评分者(差)协议之间的丰富线索，我们在我们的框架中进一步加入了一个多评分者感知模块(MPM)，这在经验上导致显著的性能提升。

Medical Image Segmentation

(a) an overview of the processing pipeline, and continues with

zoomed-in diagrams of individual modules, including

 

 （b）专家感知推理模块(EIM)

convLSTM：

LSTM的关键是细胞状态，表示细胞状态的这条线水平的穿过图的顶部。LSTM的删除或者添加信息到细胞状态的能力是由被称为Gate的结构赋予的。

LSTM的第一步是决定要从细胞状态中丢弃什么信息。 该决定由被称为“忘记门”的Sigmoid层实现。它查看ht-1(前一个输出)和xt(当前输入)，并为单元格状态Ct-1(上一个状态)中的每个数字输出0和1之间的数字。1代表完全保留，而0代表彻底删除。

下一步是决定我们要在细胞状态中存储什么信息。 这部分分为两步。 首先，称为“输入门层”的Sigmoid层决定了我们将更新哪些值。接下来一个tanh层创建候选向量Ct,该向量将会被加到细胞的状态中。在下一步中，我们将结合这两个向量来创建更新值。

现在是时候去更新上一个状态值Ct−1了，将其更新为Ct。签名的步骤以及决定了应该做什么，我们只需实际执行即可。

我们将上一个状态值乘以ft，以此表达期待忘记的部分。之后我们将得到的值加上 it∗Ct。这个得到的是新的候选值，按照我们决定更新每个状态值的多少来衡量。

最后，我们需要决定我们要输出什么。 此输出将基于我们的细胞状态，但将是一个过滤版本。 首先，我们运行一个sigmoid层，它决定了我们要输出的细胞状态的哪些部分。 然后，我们将单元格状态通过tanh（将值规范化到-1和1之间），并将其乘以Sigmoid门的输出，至此我们只输出了我们决定的那些部分

 多个LSTM可以堆叠并在时间上连接来形成更复杂的结构。这种模型已经应用于解决许多现实生活中的序列建模问题。

 

（c）多评分者协议建模(MAM)，由多评分者重建模块(MRM)和多评分者感知模块(MPM)组成。

 Overall Framework

 1、第一阶段采用广泛使用的U-Net架构[38]，由ImageNet预训练的ResNet34[18]骨干作为编码器部分。然后在瓶颈层插入专家感知推理模块(EIM)，将单个评分者的专家知识向量嵌入到网络提取的高级语义特征中，进一步将增强的特征f 5传递到U-Net的解码器块，生成多级解码器特征

 最后解码出的特征F1经过1 - 1卷积运算，再经过一个sigmoid激活函数，生成粗预测P1。

 2、第二阶段由两个按顺序排列的模块组成，其目的是对第一阶段的粗糙预测结果进行细化，得到更好的预测结果。
多评分者重建模块(MRM)的目的是重建原始的多评分者的评分，在此基础上估计像素级的不确定性图，代表不同区域的观察者之间的变化。
在此基础上，提出了基于软注意机制的多评分者感知模块(MPM)，利用不确定性映射对粗预测进行细化。
为简单起见，我们使用多评分者协议建模(MAM)来表示这两个顺序模块的组合。
图3还显示了带有中间结果的管道简化图。

Expertise-aware Inferring Module

给每个专家给出的mask一个权重它作为先验知识馈给网络，并确定作为网络目标的实际软GT标签。具体来说，训练中使用的软GT标签是由单个评分者的标注乘以他们在专家度向量V中相应的权重来确定的，记为:

 其中ϕ为模型参数;x为输入图像;Si为第i位专家的注释掩码。

 为了有效地将多评分者的专家知识线索整合到语义特征表示中，我们利用ConvLSTM模块生成嵌入专家知识向量作为隐藏状态的增强特征，如图2(b)所示。ConvLSTM是一个强大的循环模型，它不仅捕捉了特征与不同专业级别之间的相关性(即隐藏状态)，而且总结了具有区别性的动态特征。
具体来说，我们将瓶颈层(即f5)的特征映射作为EIM的输入，并使用归一化的专家度向量V 作为初始隐藏状态h0。

 其中t表示ConvLSTM中的时间步长进一步将增强后的f 5e发送到U-Net解码器，得到粗校准的预测P1和解码后的特征F1

 Multi-rater Reconstruction Module

重构损失

fused soft label

 一致性的损失增强从P1软预测中提取的特征与GTsoft的相干性，{Di}Ki=1和{Di}Ki=1分别表示使用P1和GTsoft作为输入从编码器中提取的特征集

通过MRM重构单个评分者的评分后，可以通过多个评分者预测的像素级标准差来估计评分不一致性的不确定性图。

将得到的不确定性图发送到下一个模块，进一步细化初始粗预测P1。

 Multi-rater Perception Module

利用设计的多分支软注意机制，可以更好地捕捉和强调模糊区域

鉴于U-Net骨干获得的feature map F1和MRM获得的估计不确定性map Umap，我们使用空间注意策略来强调高度不确定性区域。
然而，估计的不确定性图可能包含潜在的不准确性或不完整的对象边界附近，这可能会负面影响模型性能，如果使用硬空间注意。
因此，我们采用软注意来扩大不确定区域的覆盖范围，从而有效地感知和捕获多个评分者之间的不一致线索。
软操作

 

表示像素级的乘法运算，表示使用软注意运算从第j个分支细化的特征。

 将细化后的特征集进一步连接并馈入Conv1 1层，得到最终的分割预测M，即

 

 最后，所提出的MRNet框架的总训练损耗L是U-Net骨干、MRM模块和MPM模块的损耗之和，可以表示为

 

 α是一个超参数，平衡了MRM模块中重建损耗lossrec和一致性损耗losson的权重，本文经验设为0.7

原文代码：https://github.com/jiwei0921/MRNet