经典的卷积神经网络(LeNet5 & AlexNet & VGG & GoogLeNet & InceptionNet & MobileNet)

最新推荐文章于 2024-06-28 01:24:07 发布
最新推荐文章于 2024-06-28 01:24:07 发布
阅读量573 收藏
点赞数
文章标签： 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/105746507
版权

ImageNet大规模视觉识别挑战赛（ILSVRC）

ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库

2017年为最后一届

 

在2010-2011年比较shallow的网络，中间层2-4层

在2012年那一篇爆炸性的paper出来，AlexNet(8层)在2012年ImageNet挑战赛上把错误率一下子降低了近10个百分点，也就是准确率提升了10个百分点。这在当时产生了很大的影响，从而使得大家开始关注深度学习

然后14年是19层的VGG和22层的GoogleNet。GoogleNet是第一名，VGG是第二名

15年微软亚洲研究院的华人学者何恺明提出了到现在为止非常有名气的，使用非常广泛的ResNet

 

 

LeNet5

94年提出，作者是Yann LeCun

LeNet-5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层。是其他深度学习模型的基础

①卷积层  ②下采样  ③卷积层  ④下采样  ⑤全连接  ⑥全连接  ⑦高斯连接

2个卷积层+后面3个全连接层    一共5层

也有7层的说法

 

因为MNIST数据集非常简单很容易就把准确率提得很高，当时LeNet5直接把准确率做到了99.2%

达到了这个准确率就可以很成熟得使用起来了

所以在当时美国的支票识别、邮编识别，当时的LeNet5直接垄断是50%的市场

 

AlexNet

第一个把深度学习引爆的神经网络结构

《ImageNet Classification with Deep Convolutional Neural Networks》这篇著名论文提出AlexNet

共8层，是在ImageNet数据集上跑的，这是一个非常大的数据集

当时是在2块GTX 580上跑的

目前AlexNet这种做法我们已经不使用了

ImageNet数据集是224*224，AlexNet的卷积核是11*11的

 

AlexNet有着和LeNet5类似的网络结构，但又新的地方

①首次引入pooling池化层(Max pooling) 和 ReLu

        这是Relu第一次引进来，之前是sigmoid或者一些不可导的接替函数

②使用了GPU实现

       因为网络结构的参数量已经达到了60M，所以使用了GPU加速。当时是训练了一个星期

③首次使用dropout regulation

抑制过拟合

 

 

VGG

由牛津大学的Visual Geometry Group小组提出，所以叫vgg

《Very Deep Convolutional Networks for Large-Scale Image Recognition》

 

VGG一共6个版本，有vgg11，vgg16，vgg19，vgg34等

VGG16包含16层，VGG19包含19层。一系列的VGG在最后三层的全连接层上完全一样，整体结构上都包含5组卷积层，卷积层之后跟一个MaxPool。所不同的是5组卷积层中包含的级联的卷积层越来越多。

AlexNet中每层卷积层中只包含一个卷积，卷积核的大小是11*11。在VGGNet中每层卷积层中包含2~4个卷积操作，卷积核的大小是3*3，卷积步长是1，池化核是2*2，步长为2,。

VGGNet最明显的改进就是降低了卷积核的尺寸，增加了卷积的层数。

探索出大卷积核并没有很大的优势，反而小窗口能降低计算量，计算速度也更快

目前3*3，1*1是我们使用得非常广泛的卷积核size

可以看到卷积核的趋势是长宽越来越小，但是深度越来越多，即channel越来越多

 

 

 

 

GoogLeNet

google公司发明的，为了纪念LeNet，将L大写了组成后面的LeNet

22层

googlenet的创新点在于探索出同一层可以使用不同的卷积核得出的结果再拼接

 

Inception是GoogLeNet的下一个版本，加深的版本

 

 

一起的总结比较

operations就是计算量

 

InceptionNet

我们前面说过，alexnet-> vgg-net是使得网络变得更深和更宽
vgg-net再加深网络会遇到问题，它的精度不会再提升了
这时候就出现了resnet可以继续加深网络的层次

另一个解决这个问题的方向就是InceptionNet，同样可以解决网络层次不能再加深的问题

 

InceptionNet有多种版本，v1,v2,v3,v4，都是由Google研发的

 

深层网络遇到的问题

也就是InceptionNet解决的问题

 

InceptionNet V1结构

把输入经过一个1*1的卷积层去做分组，分组之后其通道数目就变成了原来的1/3

Inception分组卷积的优势

①一层上同时使用多种卷积核，看到各种层级的feature

②不同组之间的feature不交叉计算，减少了计算量

 

InceptionNet V2结构

 

V3结构

就是说我这一个格子本来是能看到一个3*3的视野域的,我现在只看到一个1*3的视野域，同时这个1*3的视野域的每个格子能看到3*1的视野域，这样我最后的神经元还是能看到3*3的视野域，但是参数能够降低33%

 

有了3*3的替换之后还可以替换n*n的

 

V4结构

引入skip connection

 

MobileNet

也是由Google开发的

能保证精度损失在可控的范围之内，大幅降低参数量和计算量

引入深度可分离卷积

可见MobileNet是分到极致

 

 

 

但是网络层数并不是越多越好，20多层应该是一个临界值，再往上反而效果会变差

 

 

 

 

hxxjxw
关注
用R语言实现卷积神经网络（CNN）进行图像识别
CodeJolt的博客
08-28 585
在本篇文章中，我将使用R语言来实现一个简单的CNN模型，并展示如何使用它进行图像分类。通过以上步骤，我们成功地使用R语言实现了一个简单的卷积神经网络（CNN）进行图像识别的示例。通过逐步构建模型、编译和训练模型，我们可以使用CNN模型对图像进行分类和预测。在这个示例中，我们将使用一个简单的CNN架构，它包括卷积层、池化层和全连接层。最后，我们可以使用训练好的模型对新的图像进行预测。这里我们随机选择测试集中的一张图像，并使用模型对其进行预测。训练完成后，我们可以使用测试集评估模型的性能。
Week 7 CNN Architectures - LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet
金州饿霸吃不饱的博客
08-02 738
CNN Architectures - LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet
经典的卷积神经网络的pytorch实现（LeNet、AlexNet、VGGNet、NiN、GoogleNet、ResNet、DenseNet)
东风的博客
06-14 731
经典的卷积神经网络的pytorch实现
模糊神经网络控制算法_R语言实现CNN（卷积神经网络）模型进行回归数据分析...
weixin_31664931的博客
01-30 982
原文链接：http://tecdat.cn/?p=18149​tecdat.cn当我们将CNN（卷积神经网络）模型用于训练多维类型的数据（例如图像）时，它们非常有用。我们还可以实现CNN模型进行回归数据分析。我们之前使用Python进行CNN模型回归 ，在本文中，我们在R中实现相同的方法。我们使用一维卷积函数来应用CNN模型。我们需要Keras R接口才能在R中使用Keras神经网络API。如果...
经典的卷积神经网络（AlexNet、VGGNet、GoogLeNet、ResNet）
weixin_38324954的博客
07-25 1045
经典的卷积神经网络 1.经典CNN——AlexNet 2012年ImageNet LSVRC（大规模视觉识别挑战赛）冠军。TOP-5错误率15,。3%，远低于第二名的错误率（26.2%）；TOP-1错误率37.5% 网络结构： AlexNet 该模型一共分为八层，5个卷积层,，以及3个全连接层,在每一个卷积层中包含了激励函数RELU以及局部响应归一化（LRN）处理，然后再经过降采样（pool处...
R语言 在mnist数据集使用torch建立卷积神经网络
weixin_43869728的博客
09-07 2710
如果你在使用R语言，想要用R语言建立一个深度神经网络，那将是非常困难的。因为好多的深度神经网络的架构，都是在python上，而关于R语言的非常少。如nnet包，RSNNS包等，受之于激活函数的影响，以及只能使用一个cpu进行单线程计算，并且这些包也没有提供建立卷积神经网络的功能。 几年前，我被 R 的 tensorflow 包短暂地吸引住了，但我无法建立一个可靠的工作流程，因为它的 Python 后端不断地挡路。 （许多令人恼火的小时都在徒劳地尝试配置我的 GPU）。 Torch 是一个使用 C++..
深度学习中的卷积神经网络：从LeNet到AlexNet
"该资源为一个关于典型卷积神经网络在图像分类任务上应用的PPT，涵盖了LeNet、AlexNet、VGGNet、GoogLeNet (Inception)、ResNet、DenseNet、MobileNet和ShuffleNet等多个经典的卷积神经网络模型。这个PPT适合对...
Pytorch 图像分类（AlexNet，VGGNet，Inception，ResNet，DenseNet，MobileNet）
平凡简单的执着
04-16 4809
4.定义网络（AlexNet） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ggMczuOs-1587022068848)(attachment:image.png)] AlexNet 结构： 输入层：图像大小为 227×227×3，其中 3 表示输入图像的 channel 数（R，G，B）为 3。 卷积层：filter 大小 11×11，filter 个数 9...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
一切皆是映射：卷积神经网络(CNNs)在图像处理中的应用
最新发布
AI天才研究院
06-28 822
卷积神经网络（Convolutional Neural Networks，简称CNNs）是深度学习领域中最成功的模型之一，特别是在图像处理任务中表现出色。本文旨在全面介绍CNNs的理论基础、核心组件和实际应用，帮助读者深入理解这一强大的图像处理工具。我们将从基本概念出发，逐步深入到复杂的网络结构和算法实现，最终通过实际的代码案例，展示CNNs在图像分类、目标检测等任务中的应用。背景介绍：阐述文章的目的、范围和预期读者核心概念与联系：介绍CNNs的基本概念和相关理论。
神经网络R语言
12-02
数据挖掘配套代码，数据挖掘配套代码，数据挖掘配套代码，数据挖掘配套代码，数据挖掘配套代码，数据挖掘配套代码，数据挖掘配套代码，数据挖掘配套代码。
R语言跑神经网络
02-17
使用R语言实现BP神经网络逼近。里面包含源数据和代码。
CNN卷积神经网络应用于人脸识别（带详细流程+代码实现）
01-30
《DeepLearning tutorial（5）CNN卷积神经网络应用于人脸识别（详细流程+代码实现）》这篇文章的代码，将CNN用于人脸识别，整个实现流程请见：http://blog.csdn.net/u012162613/article/details/43277187
keras-rcnn：用于基于区域的卷积神经网络（RCNN）的Keras软件包
02-05
keras-rcnn：用于基于区域的卷积神经网络（RCNN）的Keras软件包
R语言深度学习卷积神经网络 (CNN)对 CIFAR 图像进行分类：训练与结果评估可视化
大数据部落
11-21 2463
原文链接：http://tecdat.cn/?p=24386 原文出处：拓端数据部落公众号 本文演示了训练一个简单的卷积神经网络 (CNN) 来对 CIFAR 图像进行分类。由于本教程使用 Keras Sequential API，因此创建和训练我们的模型只需几行代码。 设置 ​ library(keras) ​ 下载并准备 CIFAR10 数据集 CIFAR10 数据集包含 10 个类别的 60,000 张彩色图像，每个类别有 6,000 张图像。数据集分为 50,000 张训...
使用R语言实现卷积神经网络cnn进行图像识别
sybh的博客
05-09 809
首先，让我们回顾一下卷积神经网络（Convolutional Neural Networks，CNN）的基本概念。CNN是一种深度学习技术，特别适合处理图像数据。它的基本组成部分包括输入层、卷积层、激活函数层、池化层、全连接层和输出层。CNN通过这些组件提取图像的特征，并进行分类。
经典卷积神经网络Python，TensorFlow全代码实现
全栈O-Jay的博客
11-06 2826
经典ImageNet竞赛卷积神经网络python代码全实现！包括LeNet、AlexNet、VGGNet、InceptionNet、ResNet。 还有贴心总结。
经典卷积神经网络介绍
NodYoung
04-22 7538
AlexNet 2012年，Hinton的学生Alex Krizhevsky提出了深度卷积神经网络模型AlexNet，获得当年ILSVRC（Image Large Scale Visual Recognition Challenge）比赛分类项目的冠军。AlexNet主要使用到的新技术如下：a) 成功使用ReLU作为CNN的激活函数，并验证了其在较深网络中的有效性，解决了Sigmod在网络较深时的
图像分类（AlexNet、Vgg、GoogLeNetV1-V3）
风轻云淡
07-24 1288
1、预备知识 ①卷积操作（卷积核其实是一个立方体，64*64*3通过100个3*3的卷积核得到64*64*100，再通过一个3*3的卷积得到64*64*1，这里padding=1，stride=1卷积后图像长宽不变） 我想表达的是，卷积核的默认维度是输入图像的通道数。 ②池化操作（降维） 2、AlexNet网络 ①5个卷积层+3个全连接层（5个卷积跟5个激活） ②ReLu非线性激活 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值