MBConv模块的注意力机制

注意力机制模块主要是用来让网络对重要的部分施加更多的关注。下图是MBConv模块。

首先进行1x1Conv进行升维操作，在进行深度可分离卷积，在进行添加注意力机制，最后通过一个1x1Conv进行降维操作，代码实现如下：

该注意力机制首先进行最大池化，再进行两次1x1Conv，在进行swish函数（0-1），最后乘上原特征图。