注意门控网络用于改善超声扫描平面检测
论文地址:https://arxiv.org/abs/1804.05338
代码地址:https://github.com/yaoli/arctic-capgen-vid
主要思想:在这项工作中,将注意门控网络应用于实时自动扫描平面检测以进行胎儿超声筛查。胎儿超声中的扫描平面检测是一个具有挑战性的问题,因为图像质量差,导致临床医生和自动算法的解释性差。 为了解决这个问题,文章建议结合自门控软注意力机制。软注意力机制会生成一个端到端可训练的门控信号,从而使网络能够将对预测有用的本地信息关联起来。所提出的注意力机制是通用的,可以轻松地合并到任何现有的分类体系结构中,而只需要几个附加参数。文章表明,当基础网络具有高容量时,合并的注意力机制可以在提高整体性能的同时提供有效的对象定位。当基本网络的容量较低时,该方法将大大优于基准方法,并大大减少了误报率。
背景
胎儿发育异常是全世界围产期死亡的主要原因之一,胎儿超声筛查是检测胎儿发育异常的一个重要诊断方案,但超声存在信噪比低和图像伪影的问题,诊断的准确性和重复性有限,需要高水平的专业知识和培训。因此,使用一种自动扫描平面检测算法进行胎儿超声筛查是有必要的。
存在的困难:
-
在检查过程中,大部分时间都花在探索目前的解剖结构上。因此,有大量的背景标签,必须考虑严重的阶级不平衡。
-
即使感兴趣的对象被定位,它也可能没有达到理想的诊断扫描平面,因此该帧可能被标记为背景。因此,除了了解整体的上下文外,了解局部结构中的微小差异以检测正确的平面也是至关重要的。
-
先前的方法计算代价很高,并且不能实时应用。
-
无法利用局部信息是医学影像分析中的一个常见问题。
-
感兴趣对象相较于输入图像非常小。
创新点
-
在医学图像分类的背景下引入了软注意机制,能有效地利用局部信息。
贡献
-
在纯医学图像分类的背景下,引入了一种自门控的软注意机制。将该模型应用于实时胎儿超声扫描平面检测,结果表明该模型比基线方法具有更好的分类性能。
-
证明了所提出的注意机制可以提供可视化的精细注意图,并且计算开销最小,这是迈向可解释的深度学习的关键一步。
-
证明了注意图可以用于快速(弱监督)对象定位,证明了attended feature确实与感兴趣对象相关。
方法
Sononet
Sononet是一个由特征提取模块和自适应模块组成的卷积神经网络。
在特征提取模块中,使用VGG网络的前17层提取特征。在自适应模块中,先将通道数减少到目标类的数量,然后将通道全局平均池化,对得到的向量进行soft-max运算,选择激活量最大的作为预测项。
可以较高精度实现弱监督定位。不能保存局部信息,如果两帧图像具有非常相似的全局外观,就不能很好地区分它们。
注意力单元
g是在标准CNN分类器的最后一层soft-max之前提取的全局特征向量,是一个包含所有空间上下文信息的一维向量。f 表示长度Cs(即通道数)的像素级特征向量(?)。
通过引入注意机制,特征F分为两条路径:一条是提取全局特征向量,另一条是通过门控单元进行预测。
门控单元中,定义了兼容性评分(c)的概念,通过对c soft-max操作得到归一化注意系数(a),通过a识别图像中的显著区域,放大其影响,抑制背景区域中的无关信息。其中σ表示ReLu层,Wf和Ψ为1*1的卷积层,Wg为全连接层。
网格注意
提出了一种网格注意机制。其思想是将全局池化前的特征映射作为g的网格实例。对粗网格进行上采样,以匹配F的空间分辨率(见图2)。
聚合策略
将不同尺度特征向量组合起来进行最终的预测。
有三种方法:
-
AG-Sononet 在每个尺度上加入单独的完全连接(FC)层,并进行单独的预测。然后通过加权均值或最大运算给出最终的预测结果。
-
AG-Sononet-DS 使用深度监督来强迫每个尺度共同学习一个有用的预测。
-
AG-Sononet- ft(最简单、最稳定) 在网络收敛后,我们在每个尺度上的预测之上拟合一个新的FC层,并让网络自我微调以进行联合预测。
不足
soft-max倾向于生成对局部强度变化过于敏感的注意力图,这在医学影象中是有问题的,图像质量通常很低。我们发现除以总和有助于注意力更均匀地分配。Sigmoid函数是一种替代方法,因为它只标准化了范围,并允许更多信息流动。但会存在梯度饱和的问题