MobileNetV2 阅读笔记

卞佰成

已于 2022-10-16 16:35:49 修改

阅读量308

点赞数

分类专栏：图像分类文章标签：深度学习人工智能

于 2022-10-15 22:48:55 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_44272174/article/details/127338582

版权

图像分类专栏收录该内容

1 篇文章 0 订阅

订阅专栏

论文题目	MobileNetV2: Inverted Residuals and Linear Bottlenecks
作者	Mark Sandler; Andrew Howard; Menglong Zhu; Andrey Zhmoginov; Liang-Chieh Chen
论文链接	MobileNetV2: Inverted Residuals and Linear Bottlenecks \| IEEE Conference Publication \| IEEE Xplore

1、Depthwise Separable Convolutions

深度可分离卷积（deothwise separable convolutions）是许多高效神经网络的重要组成部件。一个标准的卷积，输入的张量维度是 $h_{i}\times w_{i}\times d_{i}$ ，对其使用一个卷积操作，卷积核 $K\in R^{k \times k \times d_{i} \times d_{j}}$ ，输出的特征图维度为 $h_{i}\times w_{i}\times d_{j}$ 。一个标准的卷积的计算成本为 $h_{i}\times w_{i}\times d_{i}\times d_{j}\times k\times k$ 。而一个深度可分离卷积的计算成本为 $h_{i}\times w_{i} \times d_{i}\times (k^{2}+ d_{j})$ 。相较于传统卷积，计算成本可以减少 $k^{2}$ 倍。

2、 Linear Bottlenecks

文章3.2节读了并不是很懂，看代码应该就是在深度可分离卷积中，降维用的1x1卷积不使用非线性激活，如果有理解的大神可以评论区交流一下。

文章强调了两个属性，它们表明需要关注的流形（the manifold of interest，翻译软件直接翻译）应位于高维激活空间的低维子空间中：

如果感兴趣的流形在ReLU变换后仍保持非零量，则它对应于线性变换。
ReLU能够保存关于输入流形的完整信息，但仅当输入流形位于输入空间的低维子空间时。

3、 Inverted residuals

倒残差结构类似于残差结构，不同于传统残差结构两头大中间小，倒残差结构先升维再降维，两头小中间大。作者想提高梯度传播的能力，在实验中表现优于传统残差结构，同时内存效率更高。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
MobileNetV2 阅读笔记

MobileNet的阅读笔记
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。