论文笔记：MobileNetV2: Inverted Residuals and Linear Bottlenecks

最新推荐文章于 2024-07-26 09:00:48 发布
最新推荐文章于 2024-07-26 09:00:48 发布
阅读量3.3k 收藏 3
点赞数
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011440558/article/details/82712618
版权
MobileNetV2通过Inverted Residuals和Linear Bottlenecks提升了模型性能。Linear Bottlenecks避免了ReLU在小维度输出后的信息损失，而Inverted Residuals则通过先升维再降维的方式有效复用特征并缓解特征退化。这一设计减少了计算量，提高了效率。
摘要由CSDN通过智能技术生成

MobileNetV2: Inverted Residuals and Linear Bottlenecks

MobileNet V2是MobileNet V1的改进版，Inverted residual 是个非常精妙的设计！
MobileNet V1引入depthwise separable convolution代替standard convolution，减少运算量。
MobileNet V1 的结构其实非常简单，是类似于VGG一样非常复古的直筒结构。后续一系列的ResNet, DenseNet等结构已经证明通过复用图像特征， 使用concat/eltwise+ 等操作进行融合， 能极大提升网络的性价比。【1】

v2 主要的改进有两点：

  • Linear Bottlenecks：去掉了小维度输出层后面的非线性激活层，目的是为了保证模型的表达能力。 好处：通过去掉Eltwise+ 的特征去掉ReLU， 减少ReLU对特征的破坏；
  • Inverted Residual block：和residual block中维度先缩减再扩增正好相反，因此shotcut也就变成了连接的是维度缩减后的feature map。好处：1. 复用特征， 2. 旁支block内先通过1x1升维， 再接depthw
了解本专栏 订阅专栏 解锁全文 超级会员免费看
菜鸡信息技术
关注
专栏目录
订阅专栏
MobileNetV2:Inverted Residuals and Linear BottleNecks
abrams90的专栏
07-09 3084
摘要： 本文我们描述了一种新的mobile结构称为MobileNetV2，改进了模型在多个tasks与benchmarks以及不同大小模型的SOTA。我们还描述了一个将这些mobile模型应用在目标检测中的新框架，称为SSDLite。此外，我们还介绍了如何通过改进DeepLabv3构建我们称为DeepLabv3的mobile语义分割模型。网络基于反转残差结构，shortcut位于thin ...
论文阅读：MobileNetV2: Inverted Residuals and Linear Bottlenecks（MobileNetV2）
漩涡小林的博客
03-12 628
文章目录1 摘要2 存在问题3 亮点3.1 Linear Bottlenecks3.2 Inverted residual block3.4 总的结构体4 部分结果4.1 部分数据对比4.2 部分效果对比5 结论5.1 优势5.2 不足6 参考资料 1 摘要 本文基于MobileNetV1（戳这可以先了解一下MobileNetV1）的缺陷提出了MobileNetV2结构，并且详尽地分析介绍了...
轻量级网络——MobileNetV2
Clichong
05-16 4万+
1.MobileNetV2的介绍 MobileNet v2网络是由google团队在2018年提出的，相比MobileNet V1网络，准确率更高，模型更小。 网络中的亮点 ： Inverted Residuals （倒残差结构 ） Linear Bottlenecks（结构的最后一层采用线性层） 2.MobileNetV2的结构 1）Inverted Residuals 在之前的ResNet残差结构是先用1x1的卷积降维，再升维的操作。而在MobileNetV2中，是先升维，在降维的操作。 所以对于
经典CNN模型（八）：MobileNetV2（PyTorch详细注释版）
最新发布
qq_51872445的博客
07-26 1761
作者通过实验展示了 ReLU 激活函数在高维空间中对低维流形的影响。他们首先将一个二维矩阵（channel=1）通过矩阵T升维到更高维度，接着应用 ReLU 激活函数，然后用T的逆矩阵将其还原回二维空间。当T的维度较低（如 2 或 3）时，还原后的二维矩阵会丢失很多信息。然而，随着维度的增加，信息丢失逐渐减少。因此，为了避免 ReLU 激活函数对低维特征造成过多信息损失，倒置残差结构选择使用线性激活函数（即linear bottleneck），这样可以在输出时保持尽可能多的信息完整性。
【iRBlock-iRMBlock】Inverted Residual Block和Inverted Residual Mobile Block
向上生长的程序媛的博客
02-23 1359
轻量化模块倒残差模块和倒残差移动模块详解，含python代码
MobileNext：打破常规，依图逆向改造inverted residual block | ECCV 2020
晓飞的算法工程笔记
06-16 1580
论文: Rethinking Bottleneck Structure for Efficient Mobile Network.pdf[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0fn9boFK-1655355550121)(https://files.mdnice.com/user/5240/37d633c4-354b-4680-93a3-562a744c0746.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ARXP8N8U-
【YOLOv5 Note-6】实现倒置残差块（Inverted Residual Block）
qq_60245590的博客
01-26 1639
IRBlock类继承自nn.Module，是一个神经网络模块。__init__方法是类的构造函数，用于初始化实例。inp: 输入通道数。oup: 输出通道数。stride: 卷积的步长，决定了输出特征图的大小。expansion: 扩展因子，用于控制内部隐藏层通道数的扩展。
MobileNetV2: Inverted Residuals and Linear Bottlenecks
12-03
MobileNetV2, that improves the state of the art perfor- mance of mobile models on multiple tasks and bench- marks as well as across a spectrum of different model sizes. We also describe efficient ways...
mobilenetv2: inverted residuals and linear bottlenecks
06-06
MobileNetV2是一种轻量级的神经网络模型，其中使用了“倒置残差”和“线性瓶颈”的技术。倒置残差是指在每个卷积层之前添加一个轻量级的残差块，以减少计算量和参数数量。线性瓶颈是指在每个残差块中使用一个线性...
MoblieNetV2: Inverted Residuals and Linear Bottlenecks详解及Pytorch实现
热门推荐
畅游计算机视觉的海洋
04-21 19万+
MoblieNetV2重点干货及Pytorch实现简介重点干货倒残差模块/反向残差模块(Inverted Residuals)线性瓶颈(Linear Bottleneck)MobileNetV2Pytorch实现MobileNetV2 简介 前言：最近在看EfficientNet，里面用到了与MobileNetV2相似的结构，所以找来看一下并记录。 MobileNetV2是一个轻量化网络，论文题目和地址如下： 论文题目：MobileNetV2: Inverted Residuals and Linear B
【轻量级网络系列三】MobileNetV2: Inverted Residuals and Linear Bottlenecks论文总结
slamdunkofkd的博客
06-08 365
摘要 本文将介绍一种新型的适合移动端的网络MobileNetV2，在最近众多的tasks和benchmarks上都取得了最好的表现。它是建立在一种倒转的残差结构上面的，其中的短路连接建立在thin bottleneck layers之间。中间的扩展层使用lightweight depthwise convolutions 来对特征进行过滤来提升网络非线性能力。特别的是，我们发现去除狭窄层的非线性能力对于表现特征的能力是重要的。最后，我们的方法允许对于输入输出域去耦，这对于后面的研究分析提供了一个很轻便的网
论文精读：MobileNetV2: Inverted Residuals and Linear Bottlenecks
qq_34782826的博客
08-25 412
论文地址：https://arxiv.org/pdf/1801.04381.pdf 模型结构简单，重点是理解模型设计的动机，并记录一下卷积的通用知识，已经熟知的知识就不再记录了，详细读原文。 Abstract: 1、SSDLite, MobileDeepLabv3 2、MobileNetv2基于inverted redidual structure(和resnet block 块设计思路相...
openvino系列教程之人脸检测 mobilenetv2
整理ing
10-18 616
openvino系列教程之人脸检测 mobilenetv2
RK3308B部署mobilenetv2_ssdlite
weixin_45977690的博客
05-11 1427
aarch64平台交叉编译，嵌入式部署mobilenetv2_ssdlite_ncnn
深度学习之图像分类（十一）MobileNetV2详解
m0_46521375的博客
10-13 2276
在本文中，我们描述了一种新的移动架构MobileNetV2，它提高了移动模型在多个任务和基准测试以及不同模型大小范围内的最新性能。我们还描述了在一个我们称之为SSDLite的新框架中将这些移动模型应用于对象检测的有效方法。此外，我们演示了如何通过DeepLabv3的简化形式构建移动语义分割模型，我们称之为Mobile DeepLabv3。基于逆残差结构，其中残差链接位于薄瓶颈层之间。中间扩展层使用轻量级深度卷积来过滤作为非线性来源的特征。此外，我们发现，为了保持代表性，消除窄层中的非线性是很重要的。
分组卷积与DW卷积、Residuals与Inverted Residuals、bottleneck与linearbottleneck
jq_98的博客
02-13 2212
分组卷积（Group Convolution） 分组卷积在ResNext中用到了 首先必须明确： 常规卷积（Convolution）的参数量是： K*K*C_in*n K是卷积核大小，C_in是input的channel数，n是卷积核个数(output的channel数) 分组卷积的参数量是： K*K*C_in*n*1/g K是卷积核大小，C_in是input的channel数，n是卷积核个数(output的channel数)，g是分组数 DW(Depthwise Separable Conv)+
构建自己的GhostNet网络(PyTorch)
oreo的博客
03-04 4677
这篇博客主要是对2020CVPR论文GhostNet: More Features from Cheap Operations的源码部分进行赏析，了解GhostNet网络的构建思路，并且使用PyTorch构建整体的网络架构。 目录 前沿知识： 创建GhostNet网络 第一部分：构建网络的第一层 第二部分：构建inverted residual blocks模块 2.1 GhostMo...
Rethinking Bottleneck Structure for Efficient Mobile Network Design
goodenough5的博客
03-30 462
提出新颖的bottleneck设计，称为sandglass block。在更高维度进行恒等映射和空间转换，有效缓解信息丢失和梯度混淆，非常有效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值