DeepLearing—CV系列（三）——网络设计之Bottleneck，Mobilenet，Shufflenet，Resnet的Pytorch实现

最新推荐文章于 2023-07-01 15:36:23 发布
最新推荐文章于 2023-07-01 15:36:23 发布
阅读量483 收藏
点赞数 2
分类专栏： 深度学习 AI 文章标签： 深度学习 pytorch 神经网络 机器学习 网络设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wa1tzy/article/details/106819149
版权
本文介绍了深度学习中的网络设计，包括Bottleneck结构，MobileNet的分组卷积，以及ShuffleNet的实现。文章详细讨论了内存溢出问题，并提供了相应的解决方案。通过MyNet.py和MyTrainer.py展示了模型的训练和测试过程，同时附带了训练结果和损失图像。
摘要由CSDN通过智能技术生成

文章目录

前言

有关单类单目标物体的侦测细节部分，可以跳转我的另一篇博文DeepLearing—CV系列（二）——单类单目标物体的侦测（框小黄人）与机器学习的评价指标的Pytorch实现查看，本篇博文针对其网络设计部分与内存溢出问题进行设计。
增加了对网络设计部分如：瓶颈结构Bottleneck，MobilenetV1,V2，Shufflenet（通道混洗，自定义通道数目混洗），Resnet。

先来看下做出来的效果：matplotlib动态显示
在这里插入图片描述
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
wa1tzy
关注
专栏目录
订阅专栏
第53步 深度学习图像识别：Bottleneck Transformer建模（Pytorch）
qq_30452897的博客
07-19 841
第53步 深度学习图像识别：Bottleneck Transformer建模 （Pytorch）
PyTorch 1.0 中文文档：torch.utils.bottleneck
weixin_30892037的博客
03-07 477
译者: belonHan torch.utils.bottleneck是 调试瓶颈bottleneck时首先用到的工具.它总结了python分析工具与PyTorch自动梯度分析工具在脚本运行中情况. 在命令行运行如下命令 python -m torch.utils.bottleneck /path/to/source/script.py [args] 其中 [args] 是script.py...
【ResNet笔记（2）】ResNet的 bottleneck 设计
Hali_Botebie的博客
06-03 5601
弯弯的弧线“这个就是”shortcut connection“，也是论文中提到identity mapping。
MobileNetV3中的Boottleneck模块
qq_43308156的博客
07-01 782
MobileNetV3中的bottleneck
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理
This is Yu SI's blog. Kenny(司宇SIYU)
10-04 2206
从信息瓶颈(IB)原理的理论框架出发，对深度神经网络(DNNs)进行了分析。我们首先证明了任何DNN都可以由层与输入输出变量之间的互信息来量化。利用这种表示，我们可以计算DNN的最优信息论界限，并得到有限样本推广界限。更接近理论极限的优势既可以通过泛化界限来量化，也可以通过网络的简单性来量化。我们认为，无论是最优体系结构、层数还是每层的特征/连接，都与信息瓶颈权衡的分岔点有关，即输入层相对于输出层的相对压缩。分层网络处的分层表示自然对应于沿着信息曲线的结构相变。我们相信这种新的洞察力可以产生新的最优界和深度
ResNet残差网络Pytorch实现——Bottleneck残差块
CSDN 精品推荐
05-10 2552
ResNet残差网络Pytorch实现——Bottleneck残差块 上一篇：【课程1 - 第二周作业】 ✌✌✌✌ 【目录】 ✌✌✌✌ 下一篇：【课程1 - 第三周作业】 大学生一枚，最近在学习神经网络，写这篇文章只是记录自己的学习历程，本文参考了Github上fengdu78老师的文章进行学习 ✌ Bottleneck # 50、101、152层残差块，三个卷积层，1*1，3*3，1*1 class Bottleneck(nn.Module): # 这里对应是4,对应每层中的64，64，25
ResNet模型——pytorch实现
Peach_____的博客
01-02 457
【代码】ResNet模型——pytorch实现。
ResNet pytorch 源码解读
supergxt的博客
12-15 4638
ResNet pytorch 源码解读 当下许多CV模型的backbone都采用resnet网络，而pytorch很方便的将resnet以对象的形式为广大使用者编写完成。但是想要真正参透resnet的结构，只会用还是不够的，因此在这篇文章里我会以经过我的查找和我个人的理解对源码进行解读。 文章目录ResNet pytorch 源码解读简要基础模块ResNet详情运用Resnet类（重点）forwardwideresnet结束语 简要 提供的resnet的类型。因为个人使用情况，主要解读常见的resnet和
PyTorch实现ResNet50、ResNet101和ResNet152示例
09-18
ResNet系列网络被设计出来解决深度神经网络中的梯度消失和梯度爆炸问题，允许网络更加深邃，从而达到更好的性能。ResNet50有50层，ResNet101有101层，而ResNet152有152层，它们通过不同数量的层次结构来实现不同程度...
bottleneck-transformer-pytorch:Pytorch中瓶颈变压器的实现
03-06
瓶颈变压器-火炬 在Pytorch中，在性能-计算权衡方面优于EfficientNet和DeiT的卷积（SotA）视觉识别模型的卷积+注意实现 安装 $ pip install bottleneck-transformer-pytorch 用法 import torch from torch import nn from bottleneck_transformer_pytorch import BottleStack layer = BottleStack ( dim = 256 , # channels in fmap_size = 64 , # feature map size dim_out = 2048 , # channels out proj_factor = 4 , #
mobilenet0.25_Final.pth
10-30
biubug6/Pytorch_Retinaface：https://github.com/biubug6/Pytorch_Retinaface。这里用到的预训练模型mobilenet0.25_Final.pth。
mobilenet_v2-b0353104.pth
02-25
权重文件：mobilenet_v2-b0353104.pth
Pytorch之经典神经网络CNN(八) —— ResNet(GAP全局池化层)(bottleneck)(CIFAR-10)
hxxjxw的博客
06-06 7959
,
MobileNetV2: Linear Bottleneck重解读与原文翻译
人工智能的学习录
11-08 1860
一个深度神经网络由nnn层LiL_iLi​组成，每层有一个维度为hi∗wi∗dih_i*w_i*d_ihi​∗wi​∗di​的激活张量。通过这个章节我们将会讨论这些激活张量的基本属性，我们把这些张量看做有did_idi​维hi∗wih_i*w_ihi​∗wi​像素的容器。非正式的，对于一组输入的真实的图像，我们可以说这一组层激活（对于任何LiL_iLi​层）形成了一个“感兴趣的流形”。长期以来有一...
[目标检测]-cv常用模块ghostbottleneck原理讲解与pytorch实现
ai_faker的博客
10-24 1万+
1.ghostnet简介 Ghostnet是华为诺亚方舟实验室今年在CVPR2020上新发表的文章《GhostNet: More Features from Cheap Operations》中提出的一种新型的网络结构，他的核心思想就是设计一种分阶段的卷积计算模块，在少量的非线性的卷积得到的特征图基础上，在进行一次线性卷积，从而获取更多的特征图，而新的到的特征图，就被叫做之前特征图的‘ghost’，以此来实现消除冗余特征，获取更加轻量的模型。 论文题名：《GhostNet: More Features fr
轻量化网络：MobileNet-V2
热门推荐
人工智能技术学习与分享
01-23 14万+
创新点 正文 MobileNet-V2网络结构 MobileNetV2: 《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》 于2018年1月公开在arXiv(美[ˈɑ:rkaɪv]) ：https://arxi...
MobileNetV1/V2 阅读整理
wuRDmemory
04-12 1231
Mobile Net V1 MobileNet结构 Depthwise Separable Convolution 这个结构是整个MobileNetV1的精髓所在了，之后借鉴的论文大多数把这个结构称之为DWconv。 该结构的图示如下： 下述的DkD_kDk​表示核的大小；DFD_FDF​表示输入特征图的Size（一般都是正方形，非正方形的计算方式是一样的）；M表示输入的通道数；N表示输出的通道...
YOLOv5系列（3）——YOLOv5修改网络结构
wa1tzy的博客
03-07 3万+
文章目录一、设置网络结构为mobilenet-V2二、添加注意力模块 一、设置网络结构为mobilenet-V2 首先，需要在models/common.py里，实现MobileNetv2的 bottleneck 和 Pwconv。 1、Mobilenetv2的bottleneck: InvertedResidual #mobilenet Bottleneck InvertedResidual class BottleneckMOB(nn.Module): #c1:inp c2:oup
resnet pytorch实现
最新发布
02-21
ResNet（Residual Network）是一种非常流行的深度卷积神经网络模型，它在解决深层网络训练过程中的梯度消失和梯度爆炸问题上具有很好的效果。下面是ResNet在PyTorch中的实现方式： 1. 导入所需的库和模块： ```...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wa1tzy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值