LeNet，AlexNet，VGG，GooLeNet，RestNet，DenseNet，SENet神经网络的杰出贡献&模型压缩与加速

最新推荐文章于 2021-05-11 16:01:46 发布
最新推荐文章于 2021-05-11 16:01:46 发布
阅读量380 收藏 6
点赞数 1
分类专栏： 深度学习 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46204224/article/details/107659489
版权

本文涉及1990至今神经网络的突破性进展、小型网络结构用来优化性能、模型压缩与加速，可以帮助自己更好的理解这些网络的变化。

目录

1. 神经网络补充

在这里插入图片描述
在这里插入图片描述

  1. 神经网络是有层次的
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述

  2. 一个卷积就是提取一个特征
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

2. 卷积类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 1990至今神经网络的突破性进展

1.定义网络结构
2.forward前向通路，反向torch自己算

LeNet-5(1990)

在这里插入图片描述

AlexNet(2012)

在这里插入图片描述

VGGNet(2014)

在这里插入图片描述

GooLe Inception Net(2014)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ResNet(2016)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

DenseNet(2017)

在这里插入图片描述

SENet(2017)

在这里插入图片描述

Summary

在这里插入图片描述

4. 小型网络结构，优化性能

在这里插入图片描述

SqueezeNet

在这里插入图片描述
在这里插入图片描述

Xception

使用分组卷积
在这里插入图片描述
在这里插入图片描述

mobileNet v2

在这里插入图片描述

ShuffleNet

在这里插入图片描述
在这里插入图片描述

5.模型压缩与加速

博客
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

前端压缩

知识蒸馏3种

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

紧致网络结构

在这里插入图片描述
在这里插入图片描述

Mr DaYang
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
现流行的AlexNet,VGGNet,GoogleNet,SENet,ResNet等11篇经典卷积神经网络
05-17
现流行的AlexNet,VGGNet,GoogleNet,SENet,ResNet等11篇经典卷积神经网络
SENet
Major_S的博客
03-03 1846
SENet
SENet来源论文《Squeeze-and-Excitation Networks》读后总结
yzqlyzql的博客
06-26 924
SENet来源论文《Squeeze-and-Excitation Networks》读后总结前言文章主要内容与贡献设计了SE(Squeeze-and-Excitation)模块研究了SE模块与其它网络的可结合性 前言 这是一些对于论文《Squeeze-and-Excitation Networks》的简单的读后总结，首先先奉上该文章的下载超链接：SENet 这篇文章是由中国科学院软件研究所计算机科...
【深度学习】经典卷积神经网络（九）SENet
无极阁
04-30 1570
SENet是ImageNet 2017的冠军，全称为Squeeze-and-Excitation Networks。它将注意力机制通过space与channel两个角度进行了进一步的拓展，并结合了一些比较成熟的网路设计思路，最终实现了比较好的效果。
卷积神经网络之LeNet
weixin_30394333的博客
01-28 332
开局一张图，内容全靠编。 上图引用自 【卷积神经网络-进化史】从LeNet到AlexNet. 目前常用的卷积神经网络 深度学习现在是百花齐放，各种网络结构层出不穷，计划梳理下各个常用的卷积神经网络结构。 目前先梳理下用于图像分类的卷积神经网络 LeNet AlexNet VGG GoogLeNet ResNet 本文是关于卷积神经网络的开山之作LeNet的，之前想着论文较早，一直没有细读...
经典卷积神经网络模型-合集(AlexNet，VGG16Net，GoogLeNet，ResNet18).zip
01-29
这是一个合集——经典卷积神经网络模型，包含AlexNet，VGG16Net，GoogLeNet，ResNet18等四个主要的经典卷积神经网络的code，也包含注释。所有模型均已调试通过，且已经记录博客。跑的时候，建议使用GPU来跑，否则...
LeNet、AlexNet、VGG、NiN、GoogLeNet
01-06
文章目录LeNet、AlexNet、VGG、NiN、GoogLeNet全连接层与卷积层的优势对比LeNetLeNet模型LeNet的pytorch实现AlexNetAlexNet模型AlexNet的pytorch实现VGGVGG模型VGG的实现NiN(网络中的网络）NiN模型NiN的pytorch实现...
基于python的卷积神经网络算法源码（LeNet5、VGGNet、DenseNet、ResNet等)+数据集验证.zip
最新发布
01-08
1、基于python的卷积神经网络算法源码（LeNet5、VGGNet、DenseNet、ResNet、GoogleNet)+数据集验证.zip 2、该资源包括项目的全部源码，下载可以直接使用！ 3、本项目适合作为计算机、数学、电子信息等专业的课程设计...
各种卷积神经网络的实现（LeNet5、VGGNet、DenseNet、ResNet、GoogleNet).zip
12-18
这个压缩包文件包含了五种著名的卷积神经网络实现：LeNet5、VGGNet、DenseNet、ResNet和GoogleNet。这些模型各有特点，下面将逐一详细介绍它们的设计理念、结构以及在实际应用中的优势。 首先，LeNet5是最早被广泛...
PyTorch构建LeNet、AlexNet、VGGNet、GoogLeNet、ResNet训练MNIST数据集
09-25
2、训练函数、PyTorch构建LeNet网络 3、PyTorch从零构建AlexNet训练MNIST数据集 4、PyTorch从零构建VGGNet训练MNIST数据集 5、PyTorch从零构建GoogLeNet训练MNIST数据集 6、PyTorch从零构建ResNet训练MNIST数据集
CNN模型简单介绍(LeNet,AlexNet,VGG,GoogLeNet,ResNet,GAN,R-CNN)
01-16
CNN模型简单介绍,按照提出时间依次介绍LeNet,AlexNet,VGG,GoogLeNet,ResNet,GAN,R-CNN。十几页的ppt，主要介绍各个模型的核心思想、贡献，希望能为大家提供一条清晰的CNN发展脉络。具体的算法实现等需要阅读文章代码。相关文章会作为另一个资源提供免费打包下载。
[模型加速]-从一个简单的例子letnet demo来看我们如何使用tensorRT来实现DL网络加速(附demo代码)
ai_faker的博客
05-11 564
参考大神 github地址 本项目演示demo地址 letnet_trt 1.在pytorch中运行letnet5 开始之前请确保正确的安装了pytorch依赖 1.1 克隆本博客演示代码，并进入letnetPy文件 git clone https://github.com/python-faker/csdn_example cd csdn_example/tensorrtExample/lenetPy 1.2 运行lenet5.py文件通过pytorch生成lenet5.pth权重文件，具体的lene
深度学习 --- 卷积神经网络CNN（LeNet-5网络详解）
热门推荐
进击的菜鸟
11-26 23万+
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈型的神经网络，其在大型图像处理方面有出色的表现，目前已经被大范围使用到图像分类、定位等领域中。相比于其他神经网络结构，卷积神经网络需要的参数相对较少，使的其能够广泛应用。 本节打算先介绍背景和简单的基本概念术语，然后详细介绍LeNet-5网络，其工作流程大家需要先搞清楚，学习原理其实是基于BP学习原理的，只...
干货 | 一文总结经典 CNN 架构，从 LeNet 到 SENet
蓝三金的博客
03-07 1353
自 2012 年 AlexNet 在 ImageNet 竞赛上一鸣惊人后，深度学习便进入了蓬勃发展阶段。卷积神经网络（Convolutional Neural Networks）也在图像领域发挥出前所未有的威力，例如图像分类，目标检测、定位，语义分割等。 卷积神经网络发展至今，已经产生了很多变体，网络之间各有特点。本文以最基本的分类网络为基础，对各种经典网络进行概括性总结。 LeNet5-1998...
CNN发展简史——LeNet（一）
散修炼丹师手记
04-26 9884
CNN简史 首先来回顾一下CNN发展的历史，为什么要做这个总结呢？除了加深我们对CNN框架的理解之外，沿着CNN发展的历史进程走一遍也是非常有趣的事。假如你不研究历史，你肯定不知道打火机居然早于火柴被发明，而ReLU比tanh更早被应用在神经网络中。 很久很久以前: 神经网络这一概念最早是生物界提出的，而人工智能界的神经网络很大程度上是在模拟人类的神经元。影响到CNN起源的相关研究是有关视觉皮层的...
lenet5（keras）识别mnist 收敛速度很慢
DL_GIS
10-07 984
在用lenet5做mnist识别时，网络收敛速度很慢经过100多轮训练仍在在50%准确率徘徊；参考其他人一轮变可以达到95+%的代码，进行修改 原始结构及参数：（图像也没有处理为0-1浮点数） def get_lenet5(self): input = Input(shape=(cf.Img_size, cf.Img_size, cf.Img_channels)...
(深度学习)比较新的网络模型：Inception-v3 ， ResNet， Inception-v4， Dual-Path-Net ， Dense-net ， SEnet ， Wide ResNet
ling00007的博客
01-20 2万+
1. Inception-v3 （Dec，2015）  2. ResNet（Dec，2015）  3. nception-v4（Aug，2016）  4. Dual-Path-Net （Aug，2017）  5. Dense-net（Aug，2017）  6. SEnet（Sep，2017）  7. Wide Residual Networks（Jun 2017）
LeNet,AlexNet,VGG,Network in Network(NiN),GoogLeNet,ResNet,DenseNet总结
qq_36415932的博客
10-06 729
今天把李沐讲的卷积神经网络视频看完了，现在来总结一下这几个网络结构各自的特点，没看过原论文，可能会有出入，过几天把论文看完之后再作修改。 LeNet 总共七层，所有这些层都包含可训练的参数(权重)： 第一层是卷积层C1，卷积核大小5*5，步长为1，填充为0，输出channels为6（6个feature maps）； 第二层是池化层S2，pool_size为2，步长为2，将前一层的2*2区域...
【卷积神经网络-进化史】从LeNet到AlexNet
AutoVision (by 仙道菜)
05-17 7万+
本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。 主要引用刘昕博士的思路，将按照如下方向对CNN的发展作一个更加详细的介绍：【从LeNet到AlexNet】、【进化之路一：网络结构加深】、【进化之路二：加强卷积功能】、【进化之路三：从分类到检测】、【进化之路四：新增功能模块】
深度学习：LeNet-5与AlexNet卷积神经网络模型解析
LeNet-5展示了卷积神经网络在图像识别上的潜力，而AlexNet则进一步证明了深度结构的有效性，为后续如VGG、GoogLeNet、ResNet等更复杂、更强大的模型奠定了基础。这些经典模型不仅在学术研究中具有重要价值，而且在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值