经典的卷积神经网络(LeNet5 & AlexNet & VGG & GoogLeNet & InceptionNet & MobileNet)

最新推荐文章于 2023-10-08 11:42:43 发布
最新推荐文章于 2023-10-08 11:42:43 发布
阅读量552 收藏
点赞数
文章标签： 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/105746507
版权

ImageNet大规模视觉识别挑战赛（ILSVRC）

ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库

2017年为最后一届

 

在2010-2011年比较shallow的网络，中间层2-4层

在2012年那一篇爆炸性的paper出来，AlexNet(8层)在2012年ImageNet挑战赛上把错误率一下子降低了近10个百分点，也就是准确率提升了10个百分点。这在当时产生了很大的影响，从而使得大家开始关注深度学习

然后14年是19层的VGG和22层的GoogleNet。GoogleNet是第一名，VGG是第二名

15年微软亚洲研究院的华人学者何恺明提出了到现在为止非常有名气的，使用非常广泛的ResNet

 

 

LeNet5

94年提出，作者是Yann LeCun

LeNet-5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层。是其他深度学习模型的基础

①卷积层  ②下采样  ③卷积层  ④下采样  ⑤全连接  ⑥全连接  ⑦高斯连接

2个卷积层+后面3个全连接层    一共5层

也有7层的说法

 

因为MNIST数据集非常简单很容易就把准确率提得很高，当时LeNet5直接把准确率做到了99.2%

达到了这个准确率就可以很成熟得使用起来了

所以在当时美国的支票识别、邮编识别，当时的LeNet5直接垄断是50%的市场

 

AlexNet

第一个把深度学习引爆的神经网络结构

《ImageNet Classification with Deep Convolutional Neural Networks》这篇著名论文提出AlexNet

共8层，是在ImageNet数据集上跑的，这是一个非常大的数据集

当时是在2块GTX 580上跑的

目前AlexNet这种做法我们已经不使用了

ImageNet数据集是224*224，AlexNet的卷积核是11*11的

 

AlexNet有着和LeNet5类似的网络结构，但又新的地方

①首次引入pooling池化层(Max pooling) 和 ReLu

        这是Relu第一次引进来，之前是sigmoid或者一些不可导的接替函数

②使用了GPU实现

       因为网络结构的参数量已经达到了60M，所以使用了GPU加速。当时是训练了一个星期

③首次使用dropout regulation

抑制过拟合

 

 

VGG

由牛津大学的Visual Geometry Group小组提出，所以叫vgg

《Very Deep Convolutional Networks for Large-Scale Image Recognition》

 

VGG一共6个版本，有vgg11，vgg16，vgg19，vgg34等

VGG16包含16层，VGG19包含19层。一系列的VGG在最后三层的全连接层上完全一样，整体结构上都包含5组卷积层，卷积层之后跟一个MaxPool。所不同的是5组卷积层中包含的级联的卷积层越来越多。

AlexNet中每层卷积层中只包含一个卷积，卷积核的大小是11*11。在VGGNet中每层卷积层中包含2~4个卷积操作，卷积核的大小是3*3，卷积步长是1，池化核是2*2，步长为2,。

VGGNet最明显的改进就是降低了卷积核的尺寸，增加了卷积的层数。

探索出大卷积核并没有很大的优势，反而小窗口能降低计算量，计算速度也更快

目前3*3，1*1是我们使用得非常广泛的卷积核size

可以看到卷积核的趋势是长宽越来越小，但是深度越来越多，即channel越来越多

 

 

 

 

GoogLeNet

google公司发明的，为了纪念LeNet，将L大写了组成后面的LeNet

22层

googlenet的创新点在于探索出同一层可以使用不同的卷积核得出的结果再拼接

 

Inception是GoogLeNet的下一个版本，加深的版本

 

 

一起的总结比较

operations就是计算量

 

InceptionNet

我们前面说过，alexnet-> vgg-net是使得网络变得更深和更宽
vgg-net再加深网络会遇到问题，它的精度不会再提升了
这时候就出现了resnet可以继续加深网络的层次

另一个解决这个问题的方向就是InceptionNet，同样可以解决网络层次不能再加深的问题

 

InceptionNet有多种版本，v1,v2,v3,v4，都是由Google研发的

 

深层网络遇到的问题

也就是InceptionNet解决的问题

 

InceptionNet V1结构

把输入经过一个1*1的卷积层去做分组，分组之后其通道数目就变成了原来的1/3

Inception分组卷积的优势

①一层上同时使用多种卷积核，看到各种层级的feature

②不同组之间的feature不交叉计算，减少了计算量

 

InceptionNet V2结构

 

V3结构

就是说我这一个格子本来是能看到一个3*3的视野域的,我现在只看到一个1*3的视野域，同时这个1*3的视野域的每个格子能看到3*1的视野域，这样我最后的神经元还是能看到3*3的视野域，但是参数能够降低33%

 

有了3*3的替换之后还可以替换n*n的

 

V4结构

引入skip connection

 

MobileNet

也是由Google开发的

能保证精度损失在可控的范围之内，大幅降低参数量和计算量

引入深度可分离卷积

可见MobileNet是分到极致

 

 

 

但是网络层数并不是越多越好，20多层应该是一个临界值，再往上反而效果会变差

 

 

 

 

hxxjxw
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用R语言实现卷积神经网络cnn进行图像识别
sybh的博客
05-09 694
首先，让我们回顾一下卷积神经网络（Convolutional Neural Networks，CNN）的基本概念。CNN是一种深度学习技术，特别适合处理图像数据。它的基本组成部分包括输入层、卷积层、激活函数层、池化层、全连接层和输出层。CNN通过这些组件提取图像的特征，并进行分类。
经典卷积神经网络模型-合集(AlexNet，VGG16Net，GoogLeNet，ResNet18).zip
01-29
这是一个合集——经典卷积神经网络模型，包含AlexNet，VGG16Net，GoogLeNet，ResNet18等四个主要的经典卷积神经网络的code，也包含注释。所有模型均已调试通过，且已经记录博客。跑的时候，建议使用GPU来跑，否则...
几何工具引擎（geometry tool engine）
love code, love life.
02-10 2440
基于CPU的通用图形引擎代码位于其自己的库（GTGraphics）中。几何工具库（GTL）将对GTE中的数学和几何代码进行修改，然后在时间允许的情况下添加新代码。对于使用HLSL、GLSL和CUDA的基于GPGPU的实现，以及使用Intel的SSE或AVX的基于SIMD的实现，将提供单独的代码。当我进入3D视频游戏行业时，我在图像代码上花费的时间更少，而在图形、物理和数学代码上花费了更多的时间。欢迎访问Geometric Tools的官方网站，这是数学、几何、图形、图像分析和物理领域计算的源代码集合。
【深度学习】经典的卷积神经网络模型介绍（LeNet、AlexNet、VGGNet、GoogLeNet、ResNet和MobileNet）
热门推荐
点赞的都能无bug通过！
03-17 4万+
经典的卷积神经网络模型介绍卷积神经网络简介一、LeNet1、INPUT层-输入层2、C1层-卷积层3、S2层-池化层（下采样层）4、C3层-卷积层5、S4层-池化层（下采样层）6、C5层-卷积层7、F6层-全连接层二、AlexNet1、AlexNet特点2、ReLu作为激活函数3、数据增强4、层叠池化5、局部相应归一化6、Dropout7、Alex网络结构8、AlexNet参数数量三、VGG net1、VGG的特点2、VGG网络结构3、VGG优缺点四、GoogLeNet1、GoogLeNet Incepet
【AI面试题】AlexNet、VGGNet、GoogLeNet，ResNet等网络之间的区别是什么
Roaddd的博客
02-28 2093
       AlexNet： AlexNet相比传统的CNN，主要改动包括Data Augmentation（数据增强）、Dropout方法，激活函数用ReLU代替了传统的Tanh或者Siigmoid、采用了Local Response Normalization（LRN，实际就是利用临近的像素数据做归一化，（现在基本不用了））、Overlapping Pooling（有重叠，即Pooling的步长比Pooling Kernel的对应边
经典的卷积神经网络（AlexNet、VGGNet、GoogLeNet、ResNet）
weixin_38324954的博客
07-25 987
经典的卷积神经网络 1.经典CNN——AlexNet 2012年ImageNet LSVRC（大规模视觉识别挑战赛）冠军。TOP-5错误率15,。3%，远低于第二名的错误率（26.2%）；TOP-1错误率37.5% 网络结构： AlexNet 该模型一共分为八层，5个卷积层,，以及3个全连接层,在每一个卷积层中包含了激励函数RELU以及局部响应归一化（LRN）处理，然后再经过降采样（pool处...
经典卷积神经网络模型—AlexNet，VGG，GoogLeNet
01-20
8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 将sigmoid激活函数改成了更加简单的ReLU激活函数。 用Dropout来控制全连接层的模型复杂度。 引入数据增强，如翻转、裁剪和颜色变化，从而进一步...
卷积神经网络进阶（AlexNet、VGG、NiN、GoogleNet）
01-06
深度卷积神经网络AlexNet 重要的计算例题：通道数为3，宽高均为224的输入，经过一层输出通道数为96，卷积核大小为11，步长为4，无padding的卷积层后，得到的feature map的宽高为： (原始宽高 – kernel_size)/步长下...
LeNet、AlexNet、VGG、NiN、GoogLeNet
01-06
文章目录LeNet、AlexNet、VGG、NiN、GoogLeNet全连接层与卷积层的优势对比LeNetLeNet模型LeNet的pytorch实现AlexNetAlexNet模型AlexNet的pytorch实现VGGVGG模型VGG的实现NiN(网络中的网络）NiN模型NiN的pytorch实现...
PyTorch构建LeNet、AlexNet、VGGNet、GoogLeNet、ResNet训练MNIST数据集
09-25
2、训练函数、PyTorch构建LeNet网络 3、PyTorch从零构建AlexNet训练MNIST数据集 4、PyTorch从零构建VGGNet训练MNIST数据集 5、PyTorch从零构建GoogLeNet训练MNIST数据集 6、PyTorch从零构建ResNet训练MNIST数据集
R语言跑神经网络
02-17
使用R语言实现BP神经网络逼近。里面包含源数据和代码。
计算机几何算法与实现(Visual C++版) 源码
04-16
计算机几何算法与实现(Visual C++版) 源码 是学习Bezier曲线，三次插值曲 等几何算法理论有效的学习参考代码，例子中最精彩的三维茶壶样条实现， 可方向键进行三维 转动，非常精彩，值得认真学习，
Geometry 计算几何
千淘万漉虽辛苦，吹尽狂沙始到金
10-19 667
Geometry 计算几何 四面体体积计算（已知四个点的坐标） struct point { double x, y, z; } p[5]; double line2(point a, point b) { return ((a.x - b.x) * (a.x - b.x)) + ((a.y - b.y) * (a.y - b.y)) + ((a.z - b.z) * (a.z - b.z)); } void work() { for (int i = 1; i <= 4; i
模糊神经网络控制算法_R语言实现CNN（卷积神经网络）模型进行回归数据分析...
weixin_31664931的博客
01-30 916
原文链接：http://tecdat.cn/?p=18149​tecdat.cn当我们将CNN（卷积神经网络）模型用于训练多维类型的数据（例如图像）时，它们非常有用。我们还可以实现CNN模型进行回归数据分析。我们之前使用Python进行CNN模型回归 ，在本文中，我们在R中实现相同的方法。我们使用一维卷积函数来应用CNN模型。我们需要Keras R接口才能在R中使用Keras神经网络API。如果...
深入探讨图像分类：使用卷积神经网络（CNN）在R语言中处理CIFAR-10和ImageNet数据集
sybh的博客
09-26 116
CIFAR-10（Canadian Institute for Advanced Research）是一个常用的图像分类数据集，包含60,000张32x32像素的彩色图像，涵盖10个不同的类别。这10个类别分别是：飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。数据集被分为训练集和测试集，每个类别有6,000张训练图像和1,000张测试图像。CIFAR-10虽然规模较小，但非常适合用于学习图像分类算法的入门练习。卷积神经网络（CNN）是一种深度学习模型，专门设计用于处理图像数据。
使用VHDL语言实现简单的卷积神经网络
最新发布
QQ_778132974的博客
10-08 508
需要注意的是，这个示例只展示了如何在VHDL中实现一个简单的卷积操作，并没有涉及到更复杂的神经网络结构和训练过程。下面使用VHDL编写一个完整的卷积神经网络（CNN）是一项非常复杂且耗时的任务，需要详细的设计和实现过程。在这里，我将提供一个简化版本的示例，展示如何使用VHDL实现一个基本的卷积层。在这个示例中，我们假设输入图像是一个2D的灰度图像，卷积核是一个3x3的窗口，步幅为1，padding为0，激活函数为ReLU。我可以给出一个简化的示例，展示如何使用VHDL语言实现一个基本的卷积层。
R语言 在mnist数据集使用torch建立卷积神经网络
weixin_43869728的博客
09-07 2613
如果你在使用R语言，想要用R语言建立一个深度神经网络，那将是非常困难的。因为好多的深度神经网络的架构，都是在python上，而关于R语言的非常少。如nnet包，RSNNS包等，受之于激活函数的影响，以及只能使用一个cpu进行单线程计算，并且这些包也没有提供建立卷积神经网络的功能。 几年前，我被 R 的 tensorflow 包短暂地吸引住了，但我无法建立一个可靠的工作流程，因为它的 Python 后端不断地挡路。 （许多令人恼火的小时都在徒劳地尝试配置我的 GPU）。 Torch 是一个使用 C++..
经典的卷积神经网络的pytorch实现（LeNet、AlexNet、VGGNet、NiN、GoogleNet、ResNet、DenseNet)
东风的博客
06-14 692
经典的卷积神经网络的pytorch实现
深度学习中的卷积神经网络：从LeNet到AlexNet
"该资源为一个关于典型卷积神经网络在图像分类任务上应用的PPT，涵盖了LeNet、AlexNet、VGGNet、GoogLeNet (Inception)、ResNet、DenseNet、MobileNet和ShuffleNet等多个经典的卷积神经网络模型。这个PPT适合对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值