EffNet: An Efficient Structure for Convolutional Neural Networks

最新推荐文章于 2023-03-25 21:52:18 发布
最新推荐文章于 2023-03-25 21:52:18 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 图像处理 文章标签： CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011961856/article/details/79143137
版权

EffeNet对MoblieNet网络进行改进,主要思想为:

首先,将MoblieNet的 3×3 的depthwise convolution层分解为两个 3×1 , 1×3 depthwise convolution层.这样便可以在第一层之后就采用pool操作,从而减少第二层的计算量.
这里写图片描述

如图1所示,在第一个卷积层之后,使用 1×2 max pooling操作.在第二个卷积层之后,用 2×1 ,stride=1的卷积核代替 1×1 pointwise convolution.这样计算量相同,但是可以有更高的精度.

作者试验了MobileNet,ShuffleNet,EffNet三种模块的分类网络,模型结构参数如下,

这里写图片描述

在Cifar10数据分类精度为,

这里写图片描述
EffNet large参数量基本与Baseline相同,精度提高接近8%.

imperfect00
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
huangyiping12345的博客
04-28 935
参考文献：https://arxiv.org/pdf/1905.11946.pdf 代码实现：https://github.com/lukemelas/EfficientNet-PyTorch 包括理解！ EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 摘要 卷积神经网络（ConvNets）通常是在固...
模型剪枝四：Pruning Convolutional Neural Networks For Resource Efficient Inference
cdknight_happy的专栏
05-13 5160
论文地址：https://arxiv.org/abs/1611.06440v2 英伟达出品的模型剪枝论文，NVIDIA Transfer Learning Toolkit就是基于这篇论文进行实现的？ 0 摘要 我们提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。我们将基于贪婪标准的修剪与通过反向传播的微调交错 - 实现了一种高效的的过程，在修剪后的网络中保持了良好的泛化能力。我们提出...
【Pruning Convolutional Neural Networks for Resource Efficient Inference】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-11 6181
论文链接：https://arxiv.org/abs/1611.06440 这篇论文也是修剪卷积核的。 论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。 论文中提出了一个基于泰勒展开的修剪新准则，用它去近似由于修剪网络参数引起的损失函数的变化。
《EffNet--卷积神经网络的一种高效结构》论文笔记
JR_Chan的博客
09-20 1845
EffNet  这篇文章主要是在MobileNet之上做修改，增加了一个空间可分离卷积，发表在2018 25th IEEE International Conference on Image Processing (ICIP)上。原文可见EffNet: An Efficient Structure for Convolutional Neural Networks。 摘要  随着卷积神经网络在客...
EffNet: An efficient structure for convolutional neural network
liguandong
03-18 961
EffNet: An efficient structure for convolutional neural network Abstract: 随着卷积神经网络在客户产品中的应用不断增加，模型需要在嵌入式移动硬件上高效运行。 因此，较薄的模型已成为热门的研究课题，其各种方法从二进制网络到修订的卷积层变化。 我们为后者提供了贡献，并提出了一种新颖的卷积模块，它可以显着减少计算负担，同时超越当前...
初入神经网络剪枝量化5（大白话）
weixin_42638415的博客
04-23 5042
最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。 ①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf 这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。 核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删除， 认为权重的绝对值越小，则权重的作用也就越小。 ②Pru...
EfficientNet_Rethinking Model Scaling for Convolutional Neural Networks.pdf
05-20
EfficientNet论文
CosRec: 2D Convolutional Neural Networks for Sequential Recommendation
04-23
2D卷积神经网络推荐系统
efficientnet-tf2:TensorFlow 2.0和Keras中EfficientNet的可重用实现
05-17
高效网-tf2 TensorFlow 2.0实现（又称EfficientNet）的。 动机 EfficientNet仍然是最有效的图像分类架构之一。 考虑到TensorFlow 2.0已经发布了beta1版本，我认为TF 2.0中灵活高效且可重用的EfficientNet实现可能对从业者有用。 执行 我使用实现了运行均值和标准差计算，从而消除了将整个数据集加载到内存中的问题。 计算平均值和标准偏差的Normalizer类也用作tf.keras.preprocessing.image.ImageDataGenerator的preprocessing_function参数。 安装 conda create -n effnet python=3.6.8 conda activate effnet git clone https://github.com/monatis/effnet-tf2
Basic_CNNs_TensorFlow2：一些基本CNN的tensorflow2实现（MobileNetV1V2V3，EfficientNet，ResNeXt，InceptionV4，InceptionResNetV1V2，SENet，SqueezeNet，DenseNet，ShuffleNetV2，ResNet）
02-06
Basic_CNNs_TensorFlow2 一些基本CNN的tensorflow2实现。 包括的网络： MobileNet_V1 MobileNet_V2 SE_ResNet_50，SE_ResNet_101，SE_ResNet_152，SE_ResNeXt_50，SE_ResNeXt_101 挤压网 ShuffleNetV2 RegNet 其他网络 对于AlexNet和VGG，请参见： : 对于InceptionV3，请参见： : 对于ResNet，请参阅： : 培养 要求： Python> = 3.6 Tensorflow> = 2.4.0 tensorfl
CNN-FL: An Effective Approach for Localizing Faults Using Convolutional Neural Networks
02-08
CNN-FL: An Effective Approach for Localizing Faults Using Convolutional Neural Networks
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
02-08
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
EfficientNet网络简介
最新发布
FPGA/MATLAB学习教程/源码/项目合作开发
03-25 1万+
都有使用，直觉上更深的网络可以捕获到更丰富和更复杂的特征，在新任务上也可以泛化的更好。这是一种穷举搜索方法，可以在固定资源的限定下，列出所有参数之间的关系，显示出改变某一种维度时，基线网络模型会受到什么样的影响。综合考虑所有情况之后，他们确定了每个维度最合适的调整系数，然后将它们一同应用到基线网络中，对每个维度都进行适当的缩放，并且确保其符合目标模型的大小和计算预算。）为核心的机器学习模型时，我们通常会先使用固定的资源成本，构建最初的模型，然后增加更多资源（层数）扩展模型，获得更高的准确率。
【模型剪枝】|Pruning Convolutional Neural Networks for Resource Efficient Inference
qq_35608277的博客
04-05 542
https://github.com/jacobgil/pytorch-pruning 剪枝之后的VGG准确率从98.7% 掉到97.5%. 网络大小从 538 MB压缩到 150 MB. 在i7 CPU上，对一张图的推断时间从 0.78 减少为 0.277 s，几乎是3倍加速。 裁剪filter的依据是： 用Taylor展开来近似pruning的优化问题。 需要注意的是，裁剪某一层的filter后，下一层的weight也需要更新。 ...
论文品读：Pruning Convolutional Neural Networks for Resource Efficient Inference
hsqyc的博客
12-12 3656
  模型裁剪系列相关论文品读博客： 1.论文品读：Learning both Weights and Connections for Efficient Neural Networks https://blog.csdn.net/hsqyc/article/details/83421061 2.论文品读：Network Trimming: A Data-Driven Neuron Pruni...
Pruning convolutional neural networks for resource efficent inference
langzi453的博客
02-14 826
这是篇2017年ICLR的会议，文章提出了一种基于泰勒展开的网络剪枝方法。文章认为，这里一类的剪枝方法一般分为三类： 一个已经训练好的网络 基于一定的准则在修剪和微调反复 适时地停止   所以，这个修剪的“准则”就十分的重要，文章列出了一些以往的准则： Minimun weight：训练时加入L1或L2正则化，并修剪权值小于某一阈值的权重 Activation：修剪经激活层后与sm...
Efficientnet网络详解及构建
qq_52053775的博客
05-21 6527
1.EffificientNet的基线网络 2.MBConv结构 如图所示，1*1的卷积用于升维，将输入通道数变为filters_in * expand_ratio,Depwise Conv是深度可分离卷积，SE是Squeeze-and-Excitation模块，是Luong注意力机制在图像中的应用，下面1*1的卷积用于降维，将维度调整为filters_out，最后是Dropout层，减少过拟合。 2.1 深度可分离卷积 对于5x5x3的输入，如果想要得到3x3x4的f...
efficientnet: rethinking model scaling for convolutional neural networks
03-16
EfficientNet是一种新型的卷积神经网络模型，它重新思考了模型缩放的问题。它通过使用复合缩放方法，即同时缩放深度、宽度和分辨率，来提高模型的效率和准确性。这种方法可以在不增加计算成本的情况下，显著提高模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值