RAUNet: Residual Attention U-Net forSemantic Segmentation of Cataract SurgicalInstruments

摘要

本文主要考虑解决的问题在于白内障手术器械分割问题中的镜面反射和类别不平衡问题

本文介绍了改进特征表示的注意力机制。设计了一种新的注意模块来学习辨别特征，它捕获全局上下文并编码语义依赖关系，以强调关键语义特征，提高特征表示这个模块具有只有很少的参数，这有助于节省内存。其可以灵活的插入其他网络。

此外还引入了一种混合损失来训练网络来解决类不平衡问题，这种损失函数将交叉熵损失函数和DiceLoss二者相结合。

本文的主要贡献在：

1）一种被称为增强注意模块（AAM）的创新注意模块被设计用于有效融合多层次特征并改进特征表示，有助于解决镜面反射问题。此外它层参数很少，有助于减少内存

2）为了解决类不平衡问题，引入了混合损耗，它合并交叉熵和DiceLoss的对数以利用他们二者的优点。

Residual Attention U-Net

概述

高分辨率信息能够提供更详细的位置信息以帮助医生进行准确的手术。因此，剩余注意力U-Net (RAUNet)采用编码器-解码器的结构来获得高分辨率的掩码。在ImageNet上预先训练的ResNet34[7]用作提取语义特征的编码器。它有助于减小模型大小并提高推理速度。在解码器中，设计了一种新的注意力模块增强注意力模块（AAM），以融合多层次特征并捕获全局上下文。反卷积用于执行上采样以获取精细边缘。其整体结构图如下所示：

增强型注意力模块 （AAM）

解码器通过上采样恢复位置细节，然而，上采样会导致边缘模糊和位置细节丢失。一些现有的方法采用跳跃连接来连接低级特征和高级特征，这有助于补充位置信息。但这是一个天真的方法。由于低级特征中缺乏语义信息，它包含了大量无用的背景信息。该信息可能会干扰目标对象的分割。为了解决这个问题，增强注意力模块被设计为捕获高级语义信息并强调目标特征

每个通道对应一个特定的语义响应，增强注意力模块对语义依赖进行建模，以强调目标通道。它捕获高级特征图中的语义信息和低级特征图中全局上下文，以对语义依赖进行编码。高级特征图中包含丰富的语义信息，可用于指导低级特征图来选择重要的位置信息细节，低层特征图的全局上下文编码了不同信道之间的语义关系，有助于过滤干扰信息。通过有效地利用这些信息，增强注意力模块可以强调目标区域并改进特征表示。增强注意力模块结构如下图

执行全局平均池化以提取全局上下文和语义信息。它将全局信息压缩成一个关注的向量，对语义依赖进行编码，有助于强调关键特征和过滤背景信息。关注向量的生成描述如下所示：

其中x和y分别表示高级和低级特征图，g表示全局平均池化，表示Relu激活函数表示softmax激活函数。代指1*1的卷积。

全局信息的压缩成的一个关注的向量为

然后对向量执行1*1卷积和批量归一化，以进一步捕获语义依赖。采用Softmax函数作为激活函数对矢量进行归一化，将低级特征图乘以关注向量以生成关注特征图。最后通过添加高级特征图来校准关注特征图。与级联网络相比，相加可以减少卷积参数，有助于降低计算成本。此外，由于其只使用全局平均池化和1*1卷积，因此这个模块不会添加太多参数量。全局平均池化将全局信息压缩为一个向量，这也大大降低了计算成本。

损失函数

交叉熵损失可以用于像素的分类。是最常用的分类损失，用公式表示为：

其中W和h表示预测的宽度和高度。c是类别的数量。Yijk是像素的真实值，是预测值。

但是这种交叉熵损失，很容易造成严重的类不平衡问题。而DiceLoss比较适合解决这个问题，这个损失函数评估预测和真实值之间的相似性。DiceLoss如下图：

为了充分利用这两种损失的优良特性，将两个损失函数合并加权

总结：本文提出了一种新的网络RAUNet，其中的增强注意力模块旨在强调关键区域，这个模块可以在增加很少的参数情况下，显著的增加分割精度。此外还引入了一种称为交叉熵DiceLoss的混合损失函数，有助于解决类不平衡问题。