【论文笔记】Attention-Gated Networks for Improving Ultrasound Scan Plane Detection

注意门控网络用于改善超声扫描平面检测

论文地址：https://arxiv.org/abs/1804.05338

代码地址：https://github.com/yaoli/arctic-capgen-vid

主要思想：在这项工作中，将注意门控网络应用于实时自动扫描平面检测以进行胎儿超声筛查。胎儿超声中的扫描平面检测是一个具有挑战性的问题，因为图像质量差，导致临床医生和自动算法的解释性差。 为了解决这个问题，文章建议结合自门控软注意力机制。软注意力机制会生成一个端到端可训练的门控信号，从而使网络能够将对预测有用的本地信息关联起来。所提出的注意力机制是通用的，可以轻松地合并到任何现有的分类体系结构中，而只需要几个附加参数。文章表明，当基础网络具有高容量时，合并的注意力机制可以在提高整体性能的同时提供有效的对象定位。当基本网络的容量较低时，该方法将大大优于基准方法，并大大减少了误报率。

背景

胎儿发育异常是全世界围产期死亡的主要原因之一，胎儿超声筛查是检测胎儿发育异常的一个重要诊断方案，但超声存在信噪比低和图像伪影的问题，诊断的准确性和重复性有限，需要高水平的专业知识和培训。因此，使用一种自动扫描平面检测算法进行胎儿超声筛查是有必要的。

存在的困难：

1. 在检查过程中，大部分时间都花在探索目前的解剖结构上。因此，有大量的背景标签，必须考虑严重的阶级不平衡。

2. 即使感兴趣的对象被定位，它也可能没有达到理想的诊断扫描平面，因此该帧可能被标记为背景。因此，除了了解整体的上下文外，了解局部结构中的微小差异以检测正确的平面也是至关重要的。

3. 先前的方法计算代价很高，并且不能实时应用。

4. 无法利用局部信息是医学影像分析中的一个常见问题。

5. 感兴趣对象相较于输入图像非常小。

创新点

1. 在医学图像分类的背景下引入了软注意机制，能有效地利用局部信息。

贡献

1. 在纯医学图像分类的背景下，引入了一种自门控的软注意机制。将该模型应用于实时胎儿超声扫描平面检测，结果表明该模型比基线方法具有更好的分类性能。

2. 证明了所提出的注意机制可以提供可视化的精细注意图，并且计算开销最小，这是迈向可解释的深度学习的关键一步。

3. 证明了注意图可以用于快速(弱监督)对象定位，证明了attended feature确实与感兴趣对象相关。

方法

Sononet

Sononet是一个由特征提取模块和自适应模块组成的卷积神经网络。

在特征提取模块中，使用VGG网络的前17层提取特征。在自适应模块中，先将通道数减少到目标类的数量，然后将通道全局平均池化，对得到的向量进行soft-max运算，选择激活量最大的作为预测项。

可以较高精度实现弱监督定位。不能保存局部信息，如果两帧图像具有非常相似的全局外观，就不能很好地区分它们。

注意力单元

g是在标准CNN分类器的最后一层soft-max之前提取的全局特征向量，是一个包含所有空间上下文信息的一维向量。f 表示长度Cs(即通道数)的像素级特征向量(?)。

通过引入注意机制，特征F分为两条路径：一条是提取全局特征向量，另一条是通过门控单元进行预测。

门控单元中，定义了兼容性评分(c)的概念，通过对c soft-max操作得到归一化注意系数(a)，通过a识别图像中的显著区域，放大其影响，抑制背景区域中的无关信息。其中σ表示ReLu层，Wf和Ψ为1*1的卷积层，Wg为全连接层。

网格注意

提出了一种网格注意机制。其思想是将全局池化前的特征映射作为g的网格实例。对粗网格进行上采样，以匹配F的空间分辨率(见图2)。

聚合策略

将不同尺度特征向量组合起来进行最终的预测。

有三种方法：

1. AG-Sononet 在每个尺度上加入单独的完全连接(FC)层，并进行单独的预测。然后通过加权均值或最大运算给出最终的预测结果。

2. AG-Sononet-DS 使用深度监督来强迫每个尺度共同学习一个有用的预测。

3. AG-Sononet- ft(最简单、最稳定) 在网络收敛后，我们在每个尺度上的预测之上拟合一个新的FC层，并让网络自我微调以进行联合预测。

不足

soft-max倾向于生成对局部强度变化过于敏感的注意力图，这在医学影象中是有问题的，图像质量通常很低。我们发现除以总和有助于注意力更均匀地分配。Sigmoid函数是一种替代方法，因为它只标准化了范围，并允许更多信息流动。但会存在梯度饱和的问题