Lenet、AlexNet、VGG学习

最新推荐文章于 2024-08-03 16:01:11 发布
最新推荐文章于 2024-08-03 16:01:11 发布
阅读量2.9k 收藏 6
点赞数 1
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shmilyluxinyao/article/details/124250534
版权

文章目录

前言

机器学习基本知识——四种经典CNN学习
参考内容来自b站up主：https://space.bilibili.com/18161609

一、LeNet-5

LeNet这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层。是其他深度学习模型的基础。
它是一个7层的神经网络，包含 3 个卷积层，2 个池化层，1 个全连接层。其中所有卷积层的所有卷积核都为 5x5，步长 strid=1，池化方法都为全局 pooling，激活函数为 Sigmoid。
如今各大深度学习框架中所使用的LeNet都是简化改进过的LeNet-5，和原始的LeNet有些许不同，把激活函数改为了现在很常用的ReLu。

二、AlexNet

AlexNet模型的名字来源于论⽂第一作者的姓名 Alex Krizhevsky。AlexNet 使⽤了 8 层卷积神经⽹络，并以很⼤的优势赢得了 ImageNet 2012 图像识别挑战赛冠军。
在这里插入图片描述

该模型的特点：
（1）首次使用GPU进行网络加速训练
（2）使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合（也使用数据增强防止过拟合）
（3）使用LRN局部响应归一化
（4）使用ReLU激活函数，而不是传统的Sigmoid激活函数

过拟合现象

根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合函数完美预测数据训练集，但是对新数据测试集预测结果差。过度拟合了训练数据，但没有考虑泛化能力。
在这里插入图片描述
使用Dropout就可以减少网络的过拟合作用，在网络正向传播过程中随机失活一部分神经元。
在这里插入图片描述

ZF-Net

ZF-Net是2013ImageNet分类任务的冠军，其网络结构没什么改进，只是调了调参，性能较Alex提升了不少。ZF-Net只是将AlexNet第一层卷积核由11变成7，步长由4变为2，第3，4，5卷积层转变为384，384，256。

三、VGG

VGGNet 是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以 7.32% 的错误率赢得了 2014 年 ILSVRC 分类任务的亚军（冠军由 GoogLeNet 以 6.65% 的错误率夺得）和 25.32% 的错误率夺得定位任务（Localization）的第一名（GoogLeNet 错误率为 26.44%）。VGG可以看成是加深版本的AlexNet。
论文中的创新点提到：通过堆叠多个小卷积核来替代大尺度卷积核，可以减少训练参数，同时能保证相同的感受野。可以通过堆叠两个3×3的卷积核替代5x5的卷积核，堆叠三个3×3的卷积核替代7x7的卷积核。
在这里插入图片描述
在这里插入图片描述
VGG网络有多个版本，一般常用的是VGG-16模型，其网络结构如上图所示。
在这里插入图片描述

经3×3卷积的特征矩阵的尺寸是不改变的（Conv的stride为1，padding为1）

感受野

在卷积神经网络中，决定某一层输出结果中的一个元素所对应输入层的区域大小，被称作感受野。通俗解释是输出特征层上的一个单元对应输入特征层上区域的大小。
在这里插入图片描述
以上图为例，输入层是一个9×9×1的矩阵，输出层layer3中的一个单元对应着输入层layer2的区域为2×2，对应输入层layer1的区域为5×5。
感受野的计算公式为：
F ( i ) = ( F ( i + 1 ) − 1 ) × Stride  + Ksize F(i)=(F(i+1)-1) \times \text {Stride }+\text {Ksize} F(i)=(F(i+1)−1)×Stride +Ksize

  • F(i)为第 i 层感受野
  • Stride为第 i 层的步距
  • Ksize为卷积核或池化核尺寸

以上图为例

  • Feature Map：F = 1
  • Pool1 ： F = (1-1)×2+2 = 2
  • Conv1 ： F = (2-1)×2+3 = 5

验证VGG结论

1、堆叠两个3×3的卷积核替代5x5的卷积核，堆叠三个3×3的卷积核替代7x7的卷积核。替代前后感受野是否相同

  • Feature map: F F F = 1
  • Conv3x3(3): F = ( 1 − 1 ) × 1 + 3 = 3 \quad F=(1-1) \times 1+3=3 F=(1−1)×1+3=3
  • Conv3x3(2): F = ( 3 − 1 ) × 1 + 3 = 5 \quad F=(3-1) \times 1+3=5 F=(3−1)×1+3=5（5×5卷积核感受野）
  • Conv3x3(1): F = ( 5 − 1 ) × 1 + 3 = 7 \quad F=(5-1) \times 1+3=7 F=(5−1)×1+3=7（7×7卷积核感受野）

2、堆叠3×3卷积核后训练参数是否真的减少了
CNN参数个数 = 卷积核尺寸×卷积核深度 × 卷积核组数 = 卷积核尺寸 × 输入特征矩阵深度 × 输出特征矩阵深度
现假设 输入特征矩阵深度 = 输出特征矩阵深度 = C

  • 使用7×7卷积核所需参数个数： 7 × 7 × C × C = 49 C 2 7 \times 7 \times C \times C=49 C^{2} 7×7×C×C=49C2
  • 堆叠三个3×3的卷积核所需参数个数： 3 × 3 × C × C + 3 × 3 × C × C + 3 × 3 × C × C = 27 C 2 3 \times 3 \times C \times C+3 \times 3 \times C \times C+3 \times 3 \times C \times C=27 C^{2} 3×3×C×C+3×3×C×C+3×3×C×C=27C2
沫念·
关注
【LeNet、AlexNet、VGG】
chenjunheaixuexi的博客
06-21 833
  LeNet是最早用于图像处理的神经网络，主要是为了解决手写数字识别的问题，著名的数据集Minist就是伴随着LeNet的诞生而出现的。下面是其基本架构： 代码实现
经典卷积神经网络总结:LeNet-5、AlexNet、ZFNet、VGG、GoogleNet、ResNet
热门推荐
Rosun
11-12 1万+
1.LeNet-5—-1989LeNet-5是卷积网络的开上鼻祖，它是用来识别手写邮政编码的，论文可以参考Haffner. Gradient-based learning applied to document recognition.大名鼎鼎的LeNet5诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的
手撕深度学习：经典CNN网络结构理解汇总Lenet、Alexnet、VGG、Googlenet、Resnet
最新发布
Nathan0921的博客
08-03 1473
这些网络在深度学习的发展过程中起到了至关重要的作用，它们的设计思想和创新点为后续的研究和应用提供了宝贵的经验和灵感。也算是对卷积神经网络的一个小总结了，对网络的单一手撕感觉在2024年这个时间节点已经没有必要了，寻求统一的方式对过往经典卷积神经网络进行汇总说明是快速进入下一阶段内容学习的小技巧。通过理解和掌握这五种经典的卷积神经网络结构，我们可以深入了解卷积神经网络的发展历程和设计思路，为后续的深度学习研究和应用奠定坚实的基础。在这一章节，我们将详细的给出五种模型的网络结构，以方便通用调用来实现模型训练。
深度学习网络Lenet Alexnet VGG GoogleNet 总结笔记
luo2007专栏Gods determine what you're going to be！
04-20 5105
-深度学习网络学习总结卷积神经网络，是深度学习方向的主流方向，目前具有代表的网络如下：lenet alexnet vgg googlenet, 大部分卷积神经网络都由conv层、pool层、rule层、LRN层、fc层、softmax、dropout等层组成。本文对以上网络依次介绍。 1. Lenet，1986年 2. Alexnet，2012年 3. GoogleNet，2014年 4. VGG，
1.LeNet 和 AlexNet
MasterCayman的博客
07-13 202
import torch import torch.nn as nn import torchsummary as summary class AlexNet(nn.Module): def __init__(self, num_classes=1000): super(AlexNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 64, kernel_size.
VGG网络与LeNet5网络的对比分析
算法与编程之美
12-31 579
问题VGG卷积网络相对于LeNet5卷积网络来说卷积核尺寸：LeNet卷积核大小均为5*5，而VGG是只用了3*3的卷积核，步长为1。下采样：LeNet中是2*2的均值池化，再乘以一个可学习的参数， VGG为2*2，步长为2。padding: LeNet 模型中没有使用补边，但是输入的图片（32*32）是比数字所占像素（28*28）更大的。VGG都使用了padding（1或2）。激活函数：LeNe...
LeNet、AlexNet、VGG、NiN、GoogLeNet
01-06
文章目录LeNet、AlexNet、VGG、NiN、GoogLeNet全连接层与卷积层的优势对比LeNetLeNet模型LeNet的pytorch实现AlexNetAlexNet模型AlexNet的pytorch实现VGGVGG模型VGG的实现NiN(网络中的网络）NiN模型NiN的pytorch实现...
经典CNN的实现 LeNet AlexNet VGGNet
weixin_49374896的博客
03-12 1681
使用keras神经网络搭建“六步法”实现经典CNN：LeNet AlexNet VGGNet
经典的卷积网络结构-LeNet、AlexNet、VGG、ResNet、Inception
个人记录使用
11-26 892
文章目录1.为什么进行实例探究？2.经典网络2.1 LeNet-52.2 AlexNet2.3 VGG-163.残差网络4.残差网络有什么用？5.网络中的网络以及1×1卷积6.谷歌Inception网络简介7.Inception网络8.使用开源的实现方案9.迁移学习10.数据增强11.计算机视觉现状 1.为什么进行实例探究？ 通过阅读别人的论文和代码来学习。 后面会学习几个经典的网络模型。 2....
lenet,alexnet,VGG11源码
10-19
在深度学习领域，LeNet、AlexNet和VGG11是三个非常著名的卷积神经网络（Convolutional Neural Networks, CNN）模型。这些模型在图像识别任务上取得了里程碑式的成就，推动了深度学习的发展，特别是在计算机视觉应用...
经典网络结构(LeNet , AlexNet , VGG , GoogLeNet)剖析
weixin_30852367的博客
01-06 471
github博客传送门 csdn博客传送门 参考: https://my.oschina.net/u/876354/blog/1797489 LeNet C1层（卷积层）：6@28×28 （1）特征图大小 ->（32-5+1）×（32-5+1）= 28×28 （2）参数个数 -> 5×5+1）×6= 156 其中5×5为卷积核参数，1为偏置参数 （3）连接数 -> 该...
CNN模型简单介绍(LeNet,AlexNet,VGG,GoogLeNet,ResNet,GAN,R-CNN)
01-16
CNN模型简单介绍,按照提出时间依次介绍LeNet,AlexNet,VGG,GoogLeNet,ResNet,GAN,R-CNN。十几页的ppt，主要介绍各个模型的核心思想、贡献，希望能为大家提供一条清晰的CNN发展脉络。具体的算法实现等需要阅读文章代码。相关文章会作为另一个资源提供免费打包下载。
卷积神经网络：LeNet、AlexNet、VGG
ywm_up
12-05 240
文章目录LeNet，卷积神经网络AlexNet，深度卷积神经网络VGG，使用重复元素的网络为什么要用多个小的卷积核替代大的卷积核总结 参考链接: 5.5 卷积神经网络（LeNet） 5.6 深度卷积神经网络（AlexNet） 5.7 使用重复元素的网络（VGG） LeNet，卷积神经网络 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kB5uqfvo-1638695645036)(en-resource://database/3127:1)] LeNet包含25层变换，其中又
LeNet、AlexNet、VGG、ZF
Marshall的专栏
06-07 5050
LeNet5 LeNet模型理解 CIFAR10 CIFAR10模型理解简述  AlexNet AlexNet 之结构篇  AlexNet 之算法篇 AlexNet&Imagenet学习笔记 CVPR 2015 之深度学习篇 Part 1 － AlexNet 和 VGG-Net Alex
CNN网络架构:Le-Net,AlexNet,VGG
weixin_38621449的博客
05-14 407
LeNet-5解析 网络结构： 激活层默认不画网络图当中，这个网络结构当时使用的是sigmoid和Tanh函数，还没有出现Relu函数 将卷积、激活、池化视作一层，即使池化没有参数 参数形状： AlexNet解析 2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5错误率为15.3%，第二名为26.2%），引起了很大
LeNet、AlexNet、VGG卷积神经网络
TranSad的博客
02-24 2376
对卷积和池化过程有了基本认识之后，这篇文章梳理LeNet、AlexNet以及VGG这三个经典的卷积神经网络，并通过代码实现其网络结构来加深理解。 LeNet LeNet是最早发布的卷积神经网络之一了，LeNet是最早用来处理手写字体识别任务的网络，是非常简单而又经典。一般来说手写字体识别传入的图像是28*28的，但这里一开始先进行了padding=2的填充再卷积，所以下面图中input是32*32，这一点不同理解即可。对于每一步卷积以及池化（图中Subsampling降采样）我都做了标记，其具体...
LeNet、AlexNet、GoogLeNet、VGG、ResNet
计算机视觉算法、工程、产品
11-04 6179
LeNet、AlexNet、GoogLeNet、VGG、ResNet学习资料：参考资料： http://www.cnblogs.com/52machinelearning/p/5821591.html #Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
深度学习笔记-LeNet和AlexNet
Time木的博客
06-17 1717
lexNet模型的名字源于论文第一作者的姓名Alex Krizhevsky 。AlexNet使用了8层卷积神经网络，以很大的优势赢得了ImageNet 2012图像识别挑战赛。它首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的前状。 AlexNet与LeNet区别： 第一，相对较小的LeNet相比，AlexNet包含8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 第二，AlexNet将sigmoid激活函数改成了更加简单的ReLU激活函数。 第三，AlexNet
关于LeNet和AlexNet
touristourist的博客
08-23 801
链接：https://blog.csdn.net/cyh_24/article/details/51440344 LeNet已经具有CNN的基本结构，卷积层，pooling层，全连接层。 但是LeNet在当时没有造成轰动，直到ALexNet出现才重新提及LeNet。 AlexNet做出的改变有; 1.引入了ReLU激励函数。 2.使用了一些防止过拟合的方法，Dropout， da...
LeNet、AlexNet和VGG区别
06-03
LeNet、AlexNet和VGG都是经典的卷积神经网络模型，但是它们在模型结构和参数数量等方面有很大的区别。 1. 模型结构上的区别： LeNet是一个比较浅的神经网络模型，主要由两个卷积层和三个全连接层组成，适用于较小...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值