目录
主要改动
1.更新Block
2.重新设计了耗时层结构
3.重新设计激活函数
4.使用NAS搜索参数(略)
Block
先回顾一下v2的bottleneck
v3在做完逐通道卷积后,不是直接进入逐点卷积,添加了一步给每个通道计算注意力的操作。
得到Dwise conv的输出后,对每一个通道做avgpool,将其缩小成1*1*channel大小的向量
再对得到的向量做两次全连接层,计算每个节点,也就是每个channel对应的注意力大小
第一次fc将channel缩小到1/4,第二次fc还原通道数
将输出的1*1*channel大小的向量中每个节点的值作为每个channel的注意力权重,将其乘回原矩阵便得到输出。再对输出做逐点卷积。
上述添加注意力过程的操作示例:
以黄蓝两个通道为例,计算两个通道的注意力权重并乘回原矩阵