1. CEMA介绍
CEMA(Combined EMAttention and CoTAttention)注意力机制结合了EMAttention和CoTAttention两种注意力机制的优点,在图像特征提取方面表现出更优异的性能。以下是详细的中文描述:
EMAttention注意力机制
EMAttention(Efficient Multi-head Attention)是一种高效的多头注意力机制,其主要特点包括:
(1). 组归一化:将通道划分为多个组,通过组归一化(Group Normalization)来处理每个组内的特征,提升了模型的泛化能力。
(2). 自适应池化:使用自适应平均池化(Adaptive Average Pooling)来处理特征图的高度和宽度信息,确保特征提取的平衡性。
(3). 卷积操作:通过1x1卷积和3x3卷积来增强特征提取的能力,使得特征图在不同尺度上得到充分的处理。
(4). 注意力权重计算:通过对池化后的特征进行Softmax处理,并结合多头注意力机制来计算注意力权重,提升了特征的表达能力和识别精度。
CoTAttention注意力机制