ShuffleNet 与 MobileNet V2 论文笔记

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

论文链接:https://arxiv.org/abs/1707.01083

论文Caffe代码:https://github.com/ziweizhan/DeepLearning

MobileNet V2: Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation

论文链接:https://arxiv.org/abs/1801.04381

论文Caffe代码:https://github.com/ziweizhan/DeepLearning

大体介绍一下ShuffleNet和MobileNet v2.

一. ShuffleNet

方法介绍:

通俗讲一下就是(a)图中3个group(Alexnet中最早使用group)特征互相没有关联造成信息丢失。论文是将group打乱并将它们都分配给每一个不同的group这样就可以充分利用图片特征信息。

Shuffle UNIT:

这个是使用Shufflenet改进版的残差网络块。

DW表示的是mobilenet里面的深度分解卷积。

图b是本文给出的一种模块(输出前后feature的size不变), 相比于图a,只是将第一个1x1卷积改成了group convolution,同时后续增加通道 shuffle。

图c是本文给出的另一种模块(输出前后feature的size变小,但通道数增加),主要是为了应对下采样问题。 注意,最后的合并操作由原来的 “Add” 变成了 “Concat”, 目的是为了增加通道数。
 

二. Moblienet v2

创新点:

1.  v2 和v1 不同之处在于,v1是先通过1*1的卷积减少通道数,然后在使用3*3的卷积提取特征,最后再通过1*1的卷积来恢复通道数。V2 直接通过1*1的卷积获取6倍的通道数,然后使用深度分解卷积3*3的卷积核提取特征,最后再通过1*1的卷积来减少通道数。

2. 作者发现最后的1*1的卷积后面加Relu函数会影响特征效果所以就将最后的1*1的卷积层的Relu激活函数去掉。

网络结构:

上图就是v1和v2 之间最主要的区别。

论文还对比了残差网络和v2网络之间的差异:

主要不同之处就在于,ResNet是:压缩”→“卷积提特征”→“扩张”,MobileNetV2则是Inverted residuals,即:“扩张”→“卷积提特征”→ “压缩”

v2和v1功耗对比:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值