MobileNet

最新推荐文章于 2024-01-27 12:36:58 发布
最新推荐文章于 2024-01-27 12:36:58 发布
阅读量97 收藏
点赞数
分类专栏： 深度学习理论 文章标签： DL CV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/judgechen1997/article/details/101542909
版权

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

在这里插入图片描述
大名鼎鼎的MobileNet，实习的时候发现工业界用的很多！今天要一探究竟了~

Depthwise Conv

这位老哥的图画的通俗易懂

在这里插入图片描述
本文首先对传统的卷积进行了改进（我一开始学的时候也觉得conv filter能不能换一种形式，然而两年过来了也没深入思考过了。惯性思维，相信权威……）
不再是conv filter通道数匹配feature的通道数，filter个数决定这一层feature通道数。
而是传统的conv被拆成了两步进行：
在这里插入图片描述
第一步，每一个filter（只有一个通道）对应输出一个feature的channel（也不用求和了），所以输出channel=M的feature，再用一个1x1conv把它变成N通道的feature
以实现和传统conv相同的目的

同样是MobileNets的架构，使用可分离卷积，精度值下降1%，而参数仅为1/7，厉害啊！
在这里插入图片描述

Structure

结构这张表很清晰了：
在这里插入图片描述

其他细节

摘要这段话挺有意思：
在这里插入图片描述
这两个参数在3.3 & 3.4节阐述了，不过我可能暂时用不到
在这里插入图片描述

judgechen1997
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mobilenet
weixin_45902056的博客
04-09 712
from torch import nn import torch def _make_divisible(ch, divisor=8, min_ch=None): """ This function is taken from the original tf repo. It ensures that all layers have a channel number that is divisible by 8 It can be seen here: htt.
MobileNet Unet
AI小作坊 的博客
05-18 4785
https://github.com/bubbliiiing/Semantic-Segmentation https://github.com/BBuf/Keras-Semantic-Segmentation https://github.com/bubbliiiing/Semantic-Segmentation
工业界第一手实战经验：深度学习高效网络结构设计
SIGAI_CSDN的博客
12-24 1389
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 SIGAI特约作者 mileistone 腾讯算法工程师 研究方向：物体检测 这一年来一直在做高效网络设计的工作，2018年即将结束，是时候写一篇关于高效网络设计的总结。 首先看看当前业界几个最...
通俗易懂理解MobileNet网络模型
IT菜鸟
01-27 3009
通俗易懂理解MobileNet网络模型
MobileNet浅析
chenxi910911的博客
10-14 281
论文链接：https://arxiv.org/pdf/1704.04861.pdf MobileNet是一种通过逐层分离加深卷积深度减少深度神经网络参数的流式结构，文章中引入了两个全局超参有效地平衡了准确率和延时。 MobileNet将一个标准卷积层分解成两个卷积层(深度卷积和逐点卷积)，分别代表标准卷积的滤波器过滤和结合两个步骤。 网络结构变化前后如下图所示 举例：input layer输入为...
mobilenet0.25_Final.zip
03-16
标题中的“mobilenet0.25_Final.zip”指的是一个基于MobileNet模型的压缩文件，其中的模型参数已经训练完成并被保存为“mobilenet0.25_Final.pth”。MobileNet是一种轻量级的深度学习网络架构，设计用于在移动设备上...
MobileNet ssd模型文件
02-17
MobileNet SSD（Single Shot MultiBox Detector）是一种基于深度学习的实时目标检测模型，它结合了MobileNet架构的高效性与SSD（Single Shot MultiBox Detector）的快速目标检测能力。在移动设备和嵌入式系统上，...
MobileNet移植到Android
10-23
MobileNet是一种轻量级的深度学习模型，特别适合在资源有限的设备上，如智能手机或嵌入式系统，进行实时的图像识别任务。它通过深度可分离卷积（Depthwise Separable Convolution）大大减少了计算量和参数数量，从而...
mobilenet_v2-6a65762b.pth
07-12
mobilenet v2 pytorch 预训练模型，官网不太好下载，下载速度慢我把这个下好以后上传上来了。主要是用于加载预训练的权重。
BP、梯度消失/爆炸与ResNet
judgechen1997的博客
09-17 2081
深度学习最底层的理论，竟有些生疏了，回顾一下梯度消失与爆炸的根本原因： https://www.jianshu.com/p/243ab5aff906 主要是传统的一些激活函数很容易出现梯度消失/爆炸 loss对参数的偏导，与sigmoid的导数以及参数w有关： sigmoid的导数是限制在[0, 1/4]，当它接近0时，有可能指数效应引起梯度消失 w参数初始化一般较小，但如果大于1了，很有可能引...
BN浅析及用法
judgechen1997的博客
09-17 1166
BN和conv pooling一样是一个含有参数的层，其解决的问题是样本间在隐含层的特征数据分布不均，提升训练效率。 基本算法如下，首先对每一层的数据，都会计算其均值和方差，再将特征数据分布归一化到均值为1，标准差为0。仅仅是这样操作后会有一个硬伤：原本一些数据分布可能都是大于0的，现在你归一化到均值为1，一般情况下，神经元在ReLu都不会被激活！ 因而BN层又构造了一个yi=γxi+βy_i=\...
Non-local总结
judgechen1997的博客
05-10 1025
Non-local能够引入全局的信息，就能很好地解决local操作无法看清全局的情况，为后面的层带去更丰富的信息。（可以和FC以及普通local conv对比下，FC也是non-local连接，而且是global的） 这两篇blog感觉写的很好： https://zhuanlan.zhihu.com/p/33345791 https://blog.csdn.net/u014380165/article/details/80012001 自己总结下， Non-local module的核心就是如下两个公式：
调参技巧总结
judgechen1997的博客
09-14 624
调参技巧总结1.归一化2.激活函数3.初始化4.是否使用预训练5.froze layes6.数据量和lr的关系7.学习策略8.batchsize的影响9.衰减因子 1.归一化 当batch很小，又不做归一化时，data容易出现忽正忽负的情况，w也会出现全正或者全负，往一边偏很麻烦 2.激活函数 大数据集时，ReLu的缺点暴露出来了，很多神经元变为0，梯度消失（水爷说有实验，换了ReLu，提升几个点...
Explaining Knowledge Distillation by Quantifying the Knowledge
judgechen1997的博客
04-24 432
Explaining Knowledge Distillation by Quantifying the Knowledge 本文核心idea是利用熵衡量feature中蕴含的knowledge，并将其量化。 首先有个概念叫 visual concept, which is defined as an image region, whose information is significantly...
DenseNet论文浅析与代码实现
judgechen1997的博客
09-18 348
代码地址：Pytorch版本DenseNet DenseNet可以说是结合了ResNet和Inception结构的优点，建立了稠密的连接，最大化信息流动，进一步优化了梯度 densenet论文中，认为resnet帮助解决了梯度消失问题，梯度消失有一部分原因确实是网络过深：传播经过的层数越多，梯度越容易消失，而shortcut的结构使得梯度传播跳过了一层。但是相加后，信息无法继续传递了 dense...
AlphaGo-Nature: Mastering the game of Go with deep neural networks and tree search
judgechen1997的博客
12-06 334
AlphaGo论文浅析Introduction 大作业让分析一下这篇论文，正好整理到博客上。 Introduction 首先介绍了一下之前破解各种游戏所采用的搜索空间剪枝的原则。以及Monte Carlo tree search (MCTS)，在围棋上达到了较强的业余选手水平，但是离人类顶尖职业选手还是有不少差距。 本文将围棋19x19的棋盘位置作为一个19x19 image送入CNN。使用神经网...
NLP入门
judgechen1997的博客
06-12 177
之前考虑要不要往NLP靠，浏览了些这方面的博客，也算是入门吧 首先是整个NLP的发展历程，参考： https://blog.csdn.net/Zhangbei_/article/details/85036948 关于seq2seq: https://blog.csdn.net/Jerr__y/article/details/53749693 关于transformer： https://www.jianshu.com/p/bb7935f5c717 https://zhuanlan.zhihu.com/p/3
MobileNetV2
judgechen1997的博客
09-28 106
赶时间搭baseline搞CVPR，没有时间认真看论文，看了看博客大概知道MobileNetV2的结构了，以后要好好看看！ 这位老哥讲的不错： 主要两个改进 一是block里的第二个conv1×1后面并没有接relu，而是用的linear，作者称之为Line Bottlenecks 因为第一个dw conv 已经用过一次ReLu了，这里1x1conv把通道映射提升又使用的话，会破坏feature ...
mobilenet网络
最新发布
07-09
MobileNet是一种轻量级的深度学习模型，由Google团队于2017年提出，专为移动设备和嵌入式计算平台设计。它主要基于深度卷积神经网络（CNN），特别是Inception模块，但是通过一种称为“深度可分离卷积”（Depthwise ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值