Unet改进5：在不同位置添加EMA注意力机制,跨空间学习的高效多尺度注意模块

本文内容：在不同位置添加EMA注意力机制

论文简介

在各种计算机视觉任务中，通道或空间注意机制对于产生更多可识别的特征表示具有显着的有效性。然而，通过通道降维来建模跨通道关系可能会对提取深度视觉表征带来副作用。

本文提出了一种新型的高效多尺度注意力(EMA)模块。为了保留每个通道上的信息和减少计算开销，我们将部分通道重构为批处理维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组内均匀分布。

具体而言，除了编码全局信息以重新校准每个并行分支中的通道权重外，还通过跨维交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。我们使用流行的基准(例如CIFAR-100、ImageNet-1k、MS COCO和VisDrone2019)对图像分类和目标检测任务进行了广泛的烧烧研究和实验，以评估其性能。

1.步骤一

新建blocks/EMA.py文件，添加如下代码：

import torch
from torch import nn

class EMA(nn.Module):