深度解析MobileNetV2：倒置残差与线性瓶颈及PyTorch实现

于 2024-07-24 22:08:14 发布
阅读量1.4k 收藏 33
点赞数 28
文章标签： pytorch 人工智能 python
原文链接：https://blog.csdn.net/qq_36584673/article/details/115982677
版权

广告位：

图像拼接论文精读专栏
—— 图像拼接领域论文全覆盖（包含数据集），省时省力读论文，带你理解晦涩难懂的论文算法，学习零散的知识和数学原理，并学会写图像拼接领域的论文（介绍、相关工作、算法、实验、结论、并附有参考文献，不用一篇一篇文章再找）

图像拼接论文源码精读专栏
—— 图像拼接有源码的论文全覆盖（有的自己复现），帮助你通过源码进一步理解论文算法，助你做实验，跑出拼接结果，得到评价指标RMSE、SSIM、PSNR等，并寻找潜在创新点和改进提升思路。

超分辨率重建专栏
—— 从SRCNN开始，带你读论文，写代码，复现结果，找创新点，完成论文。手把手教，保姆级攻略。帮助你顺利毕业，熟练掌握超分技术。

有需要的同学可以点上面链接看看。

文章目录

简介

前言：最近在看EfficientNet，里面用到了与MobileNetV2相似的结构，所以找来看一下并记录。

MobileNetV2是一个轻量化网络，论文题目和地址如下：

论文题目：MobileNetV2: Inverted Residuals and Linear Bottlenecks

论文地址：
https://arxiv.org/abs/1801.04381

重点干货

  1. 倒残差模块/反向残差模块(Inverted Residuals)
  2. 线性瓶颈(Linear Bottleneck)

其中，倒残差模块中还用了
深度卷积(Depthwise Convolution,DW)
和
逐点卷积(Pointwise Convolution,PW)
，我们后续介绍。

倒残差模块/反向残差模块(Inverted Residuals)

深度卷积(Depthwise Convolution,DW)
  • 深度卷积(Depthwise Convolution,DW)
    ：完全在二维平面上进行，一个卷积核负责一个通道；一个通道只被一个卷积核卷积。结构如下图：

可以看到，DW操作的输入通道数=Feature Map数=输出通道数，且每个通道之间无相互关联，单独进行卷积运算，就相当于分组进行了计算。在Pytorch中可以用nn.Conv2d()实现。

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1,bias=True)

其中参数含义分别为:(

输入通道

,

输出通道

,卷积核大小,步长,补0,卷积核间隙,

分组

,偏置)。实现倒残差模块应该设置

in_channels=out_channels=groups

由于DW操作每个通道单独操作，没有利用不同通道的feature信息，所以需要PW操作来整合不同通道的信息，产生新的特征

逐点卷积(Pointwise Convolution,PW)
  • 逐点卷积(Pointwise Convolution,PW)
    ：卷积核大小为1×1×in_channels，将上一步操作的特征图在通道方向上加权组合，生成新的feature map，大小与输入一致。以较小的计算量进行降维或者升维操作，"混合"通道信息。

就是一个1×1卷积，输出通道数改变。

nn.Conv2d(in_channels,out_channels,kernel_size=1,padding=0,bias=False)

将DW操作和PW操作结合起来，叫
深度分离卷积(Depthwise Separable Convolutions)
，整体结构如下:

  • 倒残差模块
    ：输入经过1×1卷积进行通道扩张（通过增加卷积核的个数扩大通道数，文中扩大6倍），然后使用3×3的DW，最后用1×1的PW将通道压缩回去。

线性瓶颈(Linear Bottleneck)

作者的结论：

  1. If the manifold of interest remains non-zero volume after ReLU transformation, it corresponds to a linear transformation
  2. ReLU is capable of preserving complete information about the input manifold, but only if the input manifold lies in a low-dimensional subspace of the input space.

经过一系列特征提取过程后，会产一个兴趣流形，如果它经过ReLU后得到非零结果，那它就对应一个线性变换。ReLU只有当输入流形存在于输入空间低维度时才可以完整保存输入流形的信息。

个人理解：轻量级网络的思想就是降维，减少参数。但是降维的话ReLU会损失更多的信息，而ReLU没有损失的部分就相当于一个线性分类器。所以干脆直接用线性分类器来提高性能。

总结:将PW操作的激活函数由ReLU换成Linear

将线性瓶颈应用到倒残差模块中，结构如下:

MobileNetV2整体结构与具体网络参数

MobileNetV2网络的整体结构如下
：

  • stride = 1时，输入先经过一个1×1卷积和ReLU6，再经过一个3×3的DW操作，其中padding=1(保证输入和输出大小相同)，再经过一个1×1的PW操作，最后通过shortcut将PW后的结果与初始相加得到最终结果。

只有当步长为1且in_channels!=out_channels时才使用shortcut，否则shortcut无意义

  • stride = 2时，省略shortcut操作

ReLU6：

f

(

x

)

=

m

i

n

(

m

a

x

(

0

,

x

)

,

6

)

f(x) = min(max(0,x),6)

f

(

x

)

=

min

(

ma

x

(

0

,

x

)

,

6

)

具体网络参数如下
：

其中，t代表扩张倍数；c代表输出通道数；n代表该层重复n次；s为步长。

注意
：

All layers in the same sequence have the same

number c of output channels. The first layer of each

sequence has a stride s and all others use stride 1.

  • 重复层序列的输出通道数都相同
  • 重复层中的第一层的步长为s，其余均为1

Pytorch实现MobileNetV2

线性瓶颈块:

import torch
import torch.nn as nn

class BottleNeck(nn.Module):
    def __init__(self, in_channels, out_channels, stride, t):
        super().__init__()
        self.conv = nn.Sequential(
            nn.Conv2d(in_channels, in_channels*t, 1, bias=False),
            nn.BatchNorm2d(in_channels*t),
            nn.ReLU6(inplace=True),
            nn.Conv2d(in_channels*t, in_channels*t, 3, stride=stride, padding=1, groups=in_channels*t, bias=False),
            nn.BatchNorm2d(in_channels*t),
            nn.ReLU6(inplace=True),
            nn.Conv2d(in_channels*t, out_channels, 1, bias=False),
            nn.BatchNorm2d(out_channels)
        )
        self.shortcut = nn.Sequential()
        if stride == 1 and in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, 1, bias=False),
                nn.BatchNorm2d(out_channels)
            )
            
        self.stride = stride
    def forward(self, x):
        out = self.conv(x)
        if self.stride == 1:
            out += self.shortcut(x)
        return out

MobileNetV2整体:

class MobileNetV2(nn.Module):
    def __init__(self, class_num=1000):
        #根据自己数据集的分类类别修改class_num
        super().__init__()
        self.conv1 = nn.Sequential(
            nn.Conv2d(3, 32, 3, stride=2, padding=1, bias=False),
            nn.BatchNorm2d(32),
            nn.ReLU6(inplace=True)
        )
        #cin,cout,t,n,s
        self.bottleneck1 = self.make_layer(32, 16, 1, 1, 1)
        self.bottleneck2 = self.make_layer(16, 24, 6, 2, 2)
        self.bottleneck3 = self.make_layer(24, 32, 6, 3, 2)
        self.bottleneck4 = self.make_layer(32, 64, 6, 4, 2)
        self.bottleneck5 = self.make_layer(64, 96, 6, 3, 1)
        self.bottleneck6 = self.make_layer(96, 160, 6, 3, 2)
        self.bottleneck7 = self.make_layer(160, 320, 6, 1, 1)
        self.conv2 = nn.Sequential(
            nn.Conv2d(320, 1280, 1, bias=False),
            nn.BatchNorm2d(1280),
            nn.ReLU6(inplace=True)
        )
        self.avgpool = nn.AdaptiveAvgPool2d(1)
 
        self.linear = nn.Linear(1280, class_num)
        
    def make_layer(self,in_channels, out_channels,t,n,s):
        layers = []
        #第一层
        layers.append(BottleNeck(in_channels, out_channels, s, t))
        while n-1:
        	#其他重复层，输入输出通道相同，步长为1
            layers.append(BottleNeck(out_channels, out_channels, 1, t))
            n -= 1
            
        #layers是所有Bottleneck块列表，每个元素是Bottleneck块，*将layers拆成每个元素
        return nn.Sequential(*layers)
    
    def forward(self, x):
        #2,3,32,32
        x = self.conv1(x)
        #2,3,32,32
        x = self.bottleneck1(x)
        x = self.bottleneck2(x)
        x = self.bottleneck3(x)
        x = self.bottleneck4(x)
        x = self.bottleneck5(x)
        x = self.bottleneck6(x)
        x = self.bottleneck7(x)
        #2,320,4,4
        x = self.conv2(x)
        #2,1280,4,4
        x = self.avgpool(x)
        #2,1280,1,1
        x = torch.flatten(x,1)
        #2,1280
        x = self.linear(x)
        #2,1000
        return x

测试网络结构:

def test():
    net = MobileNetV2()
    x = torch.randn(2,3,32,32)
    y = net(x)
    #print(y.size())
    
test()

没有硬件条件，需要云服务的同学可以扫码看看：

fengbeely
关注
【第27篇】MobileNetV2：倒置残差和线性瓶颈
AI浩
01-28 6101
MobileNetV2：倒置残差和线性瓶颈 摘要 在本文中，我们描述了一种新的移动架构 MobileNetV2，它提高了移动模型在多个任务和基准测试以及不同模型大小范围内的最新性能。 我们还描述了在我们称为 SSDLite 的新框架中将这些移动模型应用于对象检测的有效方法。 此外，我们演示了如何通过我们称之为 Mobile DeepLabv3 的 DeepLabv3 的简化形式来构建移动语义分割模型。 基于倒置残差结构，其中快捷连接位于薄瓶颈层之间。 中间扩展层使用轻量级深度卷积来过滤特征作为非线性源。 此
PyTorch实现EfficientNet：从入门到精通
AI天才研究院
08-20 1069
近年来，深度学习在计算机视觉、自然语言处理等领域取得了巨大成功。然而，随着模型规模的不断增大，训练和部署深度学习模型所需的计算资源和时间成本也随之增加。如何提高深度学习模型的效率成为一个亟待解决的问题。未来，研究人员将继续探索提高模型效率的新方法，例如使用更轻量级的卷积核、更有效的模型压缩技术和更快的硬件加速器。
MobileNetV2:Inverted Residuals and Linear BottleNecks
abrams90的专栏
07-09 3147
摘要： 本文我们描述了一种新的mobile结构称为MobileNetV2，改进了模型在多个tasks与benchmarks以及不同大小模型的SOTA。我们还描述了一个将这些mobile模型应用在目标检测中的新框架，称为SSDLite。此外，我们还介绍了如何通过改进DeepLabv3构建我们称为DeepLabv3的mobile语义分割模型。网络基于反转残差结构，shortcut位于thin ...
【YOLOv5 Note-6】实现倒置残差块（Inverted Residual Block）
qq_60245590的博客
01-26 2041
IRBlock类继承自nn.Module，是一个神经网络模块。__init__方法是类的构造函数，用于初始化实例。inp: 输入通道数。oup: 输出通道数。stride: 卷积的步长，决定了输出特征图的大小。expansion: 扩展因子，用于控制内部隐藏层通道数的扩展。
MoblieNetV2: Inverted Residuals and Linear Bottlenecks详解及Pytorch实现
热门推荐
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-21 19万+
MoblieNetV2重点干货及Pytorch实现简介重点干货倒残差模块/反向残差模块(Inverted Residuals)线性瓶颈(Linear Bottleneck)MobileNetV2Pytorch实现MobileNetV2 简介 前言：最近在看EfficientNet，里面用到了与MobileNetV2相似的结构，所以找来看一下并记录。 MobileNetV2是一个轻量化网络，论文题目和地址如下： 论文题目：MobileNetV2: Inverted Residuals and Linear B
论文阅读——MobileNetV2: Inverted Residuals and Linear Bottlenecks
qq_37151108的博客
05-19 1653
继续MobileNetv2. 改进：Inverted Residual connections & Linear Bottleneck 摘要： 在轻量级的MobileNetv1提出后，本文又将轻量级的思想应用于分割网络，精简了DeepLabv3用于分割。 
主要创新点在inverted residuals和linear bottleneck的提出。在网络瓶颈部分增加inverted residuals连接以及移除网络瓶颈部分的非线性，保证该部分的信息表达能力。最终在ImageNet分类、COCO物体
MobileNetV2: Inverted Residuals and Linear Bottlenecks
十年磨一剑
05-29 632
推荐阅读:https://blog.csdn.net/kangdi7547/article/details/81431572 16->96->24, 为什么中间有96怎么确定, 由t来确定, 这里t为6, 所以16*6 =96 MobileNetV2( (features): Sequential( (0): ConvBNReLU( (0): Conv2d(3...
MobileNetV2：Inverted Residuals and Linear Bottlenecks
just
12-13 2239
①本文提出了一种新的移动端架构MobileNet V2，在当前移动端模型中最优；
MobileNet V2模型——pytorch实现
Peach_____的博客
01-11 1638
【代码】MobileNet V2模型——pytorch实现。
Python-MobileNetV2在pytorch中的实现
08-09
MobileNetV2采用了" inverted residual blocks "（倒置残差块）的设计，这是其核心创新点。与传统的残差块不同，它在瓶颈层使用扩张卷积（dilated convolution），增加感受野，同时保持计算量和参数量小。这种设计...
理解mobilenetV2（带源码）
ManiacLook的博客
03-03 4192
文章目录1.原理1.1.深度可分离卷积1.2.线性 `bottleneck`1.3.倒置残差2.模型结构 1.原理 1.1.深度可分离卷积 ​ 深度可分离卷积将标准卷积层分为深度卷积和点卷积，深度卷积进行滤波，点卷积计算输入通道的线性组合构建新特征。 ​ 标准卷积中 hi×wi×dih_i × w_i × d_ihi​×wi​×di​ 输入张量 LiL_iLi​ ，并应用卷积核 K∈Rk×k×di×djK ∈ R^{k×k×d_i×d_j}K∈Rk×k×di​×dj​ 来产生 hi×wi×djh_i × w
轻量级图像识别：MobileNetv3卷积网络的PyTorch实现
MobileNetv3的V2版本进一步改进了结构，引入了线性瓶颈和非线性激活的倒置残差结构，以提高网络的表达能力。V2版本的这些改进有助于更好地提取特征，并减少计算量。 V3版本则通过AutoML技术，结合V1和V2的设计理念...
深入解析MobileNet-V2在pytorch0.3.0上的实现
MobileNet-V2的关键创新在于其使用了“倒置残差结构”（Inverted Residuals）和“线性瓶颈”（Linear Bottlenecks），这些概念被引入以解决深度神经网络在移动端部署时的效率和速度问题。倒置残差结构是相对于残差...
YOLO改进专栏
最新发布
03-28
### YOLO算法的改进方法 YOLO（You Only Look Once）作为一种高效的实时目标检测算法，在计算机视觉领域得到了广泛应用。然而，为了进一步提高其精度和效率，研究者们提出了多种改进方法。 #### 数据增强与预处理 数据增强是提升模型泛化能力的重要手段之一。通过引入随机裁剪、旋转、翻转以及颜色抖动等方式可以有效增加训练样本多样性[^1]。此外，还可以利用生成对抗网络（GANs）来合成高质量的数据集用于扩充原始图像库[^3]。 #### 损失函数调整 传统交叉熵损失可能使得模型过于自信于某些类别预测上而忽略其他可能性。因此可以通过加入熵奖励项或者标签平滑技术来缓解这一现象，从而使最终输出更加平稳合理。 #### 网络结构优化 随着深度学习框架的发展，新的卷积神经网络架构不断涌现出来。例如ResNet系列中的残差连接机制能够很好地解决深层网络训练困难的问题；EfficientDet则采用了复合尺度缩放策略实现了速度与准确率之间的良好平衡。对于具体应用场景而言，可以根据实际需求选择合适的骨干网并对其进行微调以达到最佳效果。 #### 后处理阶段改善 在完成初步检测之后还需要经历NMS(Non-Maximum Suppression)操作去除冗余框体。但是标准版可能存在漏检情况发生于是有人提出Soft-NMS等变种形式允许一定程度重叠存在从而保留更多候选区域供后续判断依据使用[^2]。 ```python import torch.nn as nn class ImprovedYOLO(nn.Module): def __init__(self, num_classes=80): super(ImprovedYOLO, self).__init__() # Backbone Network (e.g., ResNet or EfficientNet) self.backbone = ... def forward(self, x): features = self.backbone(x) detections = ... # Apply detection head on top of backbone return detections ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值