Unet改进16：添加DoubleAttention||减少冗余计算和同时存储访问

本文内容：在不同位置添加DoubleAttention注意力机制

论文简介

学习捕捉远程关系是图像/视频识别的基础。

现有的CNN模型通常依赖于增加深度来建模这种关系，这是非常低效的。在这项工作中，我们提出了“双注意块”，这是一种新的组件，它从输入图像/视频的整个时空空间中聚集和传播信息全局特征，使后续卷积层能够有效地从整个空间中访问特征。该组件采用双注意机制，分两步进行设计，第一步通过二阶注意池将整个空间的特征聚集成一个紧凑的集合，第二步通过另一个注意自适应地选择特征并将其分配到每个位置。所提出的双注意块易于采用，并且可以方便地插入现有的深度神经网络中。

我们对图像和视频识别任务进行了广泛的消融研究和实验，以评估其性能。在图像识别任务上，配备我们的双注意力块的ResNet-50在ImageNet-1k数据集上的性能优于更大的ResNet-152架构，参数数量减少了40%以上，FLOPs也减少了。在动作识别任务上，我们提出的模型在Kinetics和UCF-101数据集上取得了最先进的结果，效率显著高于最近的工作。

1