MobileNetV3网络结构详解

目录

主要改动

Block

 重新设计了耗时层结构

重新设计激活函数

swish

hard-swish

sigmoid

h-sigmoid

v3整体结构

large版本

small版本 


主要改动

1.更新Block

2.重新设计了耗时层结构

3.重新设计激活函数

4.使用NAS搜索参数(略)

Block

先回顾一下v2的bottleneck

 v3在做完逐通道卷积后,不是直接进入逐点卷积,添加了一步给每个通道计算注意力的操作。

得到Dwise conv的输出后,对每一个通道做avgpool,将其缩小成1*1*channel大小的向量

再对得到的向量做两次全连接层,计算每个节点,也就是每个channel对应的注意力大小

第一次fc将channel缩小到1/4,第二次fc还原通道数

将输出的1*1*channel大小的向量中每个节点的值作为每个channel的注意力权重,将其乘回原矩阵便得到输出。再对输出做逐点卷积。

 上述添加注意力过程的操作示例:

以黄蓝两个通道为例,计算两个通道的注意力权重并乘回原矩阵

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值