HMANet阅读笔记

1.比较了pixel-wise attention和region-wise attention。这里提到的attention核心操作都是像DANet中空间注意力机制一样，将特征图分别变形为两个矩阵相乘，得到attention map。region-wise attention比前者不同的是，将特征图划分成若干区域，并对每一个区域作全局池化得到新的特征图，再从新的特征图上得到attention map。这样做的好处是，一来可以降低参数量，特征图尺度变小，则参与卷积的卷积核的参数量自然下降，此外也减少了内存的使用和节约了计算的开支（矩阵运算很消耗内存和依靠计算力）。二来可以弥补前者的一些不足。在pixel-wise attention中，仅仅凭借一个像素点的信息，你很难说明它属于哪一类，况且遥感图像场景复杂，空间中有很多像素相似但并不属于同一类别的像素点。而在region-wise attention 中则是一个区域，有着更丰富的周围像素信息。