AlexNet VGGNet ResNet 对比 简介

最新推荐文章于 2025-03-31 09:09:11 发布
最新推荐文章于 2025-03-31 09:09:11 发布
阅读量1.4w 收藏 85
点赞数 13
分类专栏： 深度学习 神经网络 文章标签： 神经网络 深度学习 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41077739/article/details/105754909
版权
本文深入探讨了深度学习领域的三大经典网络结构：AlexNet、VGGNet和ResNet。详细解析了各网络的架构特点，如AlexNet的多GPU与Relu应用，VGGNet的3x3卷积核堆叠，以及ResNet解决深层网络退化问题的残差学习机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

AlexNet

网络结构

在这里插入图片描述

  • 输入层: 224 * 224, 3通道
  • 第一层卷积: 96个11 * 11的卷积核, stride 是 4
    • 可以利用计算公式 输出大小 = (输入大小 - 卷积核大小 + padding) / stride + 1 来计算
    • 参数数目: 3 * 11 * 11 * 96
  • 第二层卷积: 256个5*5的卷积核
  • 第二层Max pooling
  • …
  • 第一层全连接: 4096
  • 第二层全连接: 4096
  • 输出层: 1000个数的向量, 表示总共1000种类别的概率值

多GPU

结构图中可以看到模型分为了上下两部分, 两部分分别用一个GPU来运算, 可以提高运行速度, 因此也可以增大网络的规模

Relu

数学表达
f ( x ) = m a x ( 0 , x ) f(x) = max(0, x) f(x)=max(0,x)
使用 Relu 训练速度更快

Dropout

在这里插入图片描述
每一运算都会随机地将一些神经元置为 0
Dropout 用在了全连接层上, 因为全连接层的参数较多(4096 * 4096), 容易过拟合
AlexNet 中设置的 Dropout = 0.5

工作原理:

  • 每次 Dropout 都相当于训练一个原来的网络的子网络, 最后的结果相当于很多子网络的组合, 所以训练的效果会好些
  • 模型的泛化能力差的原因在于神经元记住了训练的样本, 要记住样本的特征显然需要多个神经元, 而 Dropout 是随机选择神经元的, 能够消除神经元之间的依赖关系, 增强泛化能力
  • Dropout 也相当于数据增强

层叠池化

AlexNet 中使用的是 Overlapping Max Pooling, 池化的窗口每次移动的步长小于它的长度
AlexNet 使用的是 3 * 3 的正方形, 每次移动步长为 2, 重叠池化可以避免过拟合
但其实也可以用步长较大的卷积层代替

图片的随机采样

图片的原大小是[256, 256], 但是输入图片的大小为[224, 224], 每次只输入图像的一部分, 每次取原来图像的一部分, 相当于换了一个角度看图片, 也相当于增加了训练的数据(数据增强), 训练出来的模型泛化能力会更强

其他

  • SGD momentum = 0.9 动量梯度下降
  • Batch size = 128
  • Learning rate = 0.01, 每训练一定次数, 学习率缩小10倍
  • 训练读多个CNN模型, 然后做投票ensemble

VGGNet

Very Deep Convolutional Networks

网络结构

在这里插入图片描述

  • 每经过一个pooling层, 通道数目翻倍, 因为pooling会丢失某些信息, 所以通过增加通道数来弥补, 但是增加到512后, 便不再增加了, 可能是考虑到算力, 内存的问题
  • FC全连接层, 最后输出的是1000个类的分类结果
  • 看D, E, 加卷积层都是在后面加, 因为前面的图片太大, 运算起来太耗时, maxpooling后, 神经图变小
  • 纵向地看, 可以看到神经网络是由浅到深的. VGGNet采用递进式训练, 可以先训练浅层网络A, 然后用A初始化好的参数去训练后面深层的网络

3*3 卷积核

在这里插入图片描述
在这里插入图片描述

如图所示, 2层的 3*3 卷积核可以替代1层的 5*5 卷积核 (步长为1)

  • 两种方式的视野域是一样的, 输入输出格式都不变
  • 2层比1层多一次非线性变化, 网络深度增加也能够保证学习更复杂的模式
  • 采用堆积的小卷积核还可以减少参数数目, 还是拿上图举例(一个绿色方形代表一个参数), 假定输入输出通道数都是 C C C, 那么两层结构的参数数目为 2*3*3* C 2 C^2 C2, 单层结构的参数数目是 5*5* C 2 C^2 C2, 多了28%的数目

如果上面两张图不能理解可以结合一下这张神图
(左边一列表示输入, 通道数3, 中间两列就是参数, 两个神经元, 右边是输出, 通道数2, 总共3*3*3*2个参数)
在这里插入图片描述

1*1 卷积核

在这里插入图片描述

  • 1*1卷积核不改变长宽, 只改变通道数
  • 1*1卷积核相当于通道间的非线性变化
  • 可以对通道数降维, 同时不损失信息
    • 比如原来是32*32*100, 经过1*1*20的卷积后得到32*32*20

LRN

局部归一化, 把相邻的几个通道进行归一化
快过时了

其他

  • 多尺度输入: AlexNet中也有用到(就是从不同的角度看图片), VGGNet做的更极端, 它随机使用不同的尺度缩放训练多个分类器, 然后做ensemble

ResNet

Residual Network

退化问题

在这里插入图片描述
VGGNet中我们可以看出深度对于神经网络的重要性, 但从图中可以看出网络深度达到一定程度时, 深层网络的总体表现不如浅层网络, 这种现象称为退化问题(degradation problem)
为什么会这样?
如果是因为梯度消失, 梯度爆炸, 可以通过中间层标准化(batch normalization)等缓解
也不是过拟合造成的, 因为训练集上深层网络也不如浅层的

可能是因为网络越深, 参数越多, 优化也就更难

ResNet的提出就是为了解决这种退化问题

残差学习

在这里插入图片描述

  • Identity: 恒等变换, shortcuts, 没有引入额外的参数, 不会增加计算复杂性
  • H ( x ) H(x) H(x): 期望的结果
  • F ( x ) = H ( x ) − x F(x) = H(x)-x F(x)=H(x)−x, 为残差 (残差定义: 数理统计上, 残差表示实际观测值与估计值(拟合值)的差, 蕴含模型的重要信息.), F F F通常包括卷积, 激活等操作, 上图是2层网络, 当然也可以更多层, 如果只有1层, 就退化为线性

H ( x ) − x H(x)-x H(x)−x对 x x x求偏导后会有一个恒等项1, 使用链式法则求导时,

残差网络子结构

在这里插入图片描述

网络结构

下图为VGG-19, 34层的普通卷积神经网络, 34层的ResNet网络的对比图
在这里插入图片描述

在这里插入图片描述

  • conv1: 普通卷积层, 步长是2
  • 经过3*3的maxpooling层, 就是一堆残差网络结构
  • 深层网络相对于浅层网络主要是在conv4层增加了更多层
  • 最后只有一个全连接层, 所以参数数目会少, 可以加到卷积层上

reference

  • AlexNet: Sunita Nayak, https://www.learnopencv.com/understanding-alexnet/
  • ResNet: nowgood, https://www.cnblogs.com/nowgood/p/resnet.html
  • ResNet: Kaiming He, https://developer.aliyun.com/article/176771
  • ResNet: 木瓜子, https://zhuanlan.zhihu.com/p/43200566
  • ResNet 论文: Kaiming He, https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf
  • KOUSTUBH, https://cv-tricks.com/cnn/understand-resnet-alexnet-vgg-inception/
比较LeNet、AlexNet、VGG和ResNet模型及其优缺点的实际实验。
gongdiwudu的专栏
11-14 6150
卷积神经网络，有很多种类，这不仅仅是各种试验或尝试。而且是已经设计好的网络存在若干不尽人意之处，需要弥补和改进。因此，本文就是记录这些网络的优缺点，从新意上说，本文全无，但是从启发初学者还是有点意义。
算法知识点-AlexNet、VGG、ResNet简述
water的博客
02-28 622
通过引入残差结构，使得原始的输出y变成y-x，构成残差结构residual mapping。这样当模型达到最佳时，residual mapping 会被Push为0，这样相当于模型学习的的是恒等映射，所以模型性能不会随着训练而下降。使用连续几个3*3的卷积核代替大卷积核；通过堆积小卷积核优于直接使用大卷积核，原因在于堆积小卷积核增加了模型的非线性表达能力，使得模型拟合能力增强。堆积小卷积核组合优于一个大卷积核；resnet中引入了BN，相当于自带噪声，具有正则化效果，无需引入droupout。
《Python机器学习基础教程》第十二章计算机视觉基础12.7 深度解析：常用卷积神经网络架构（LeNet、AlexNet、VGG、ResNet和Inception）的特点与应用
最新发布
代码学习，前言技术分享，深度分析编程技术，普及科普编程技术
03-31 1063
LeNet是由Yann LeCun等人在1998年提出的，是最早的卷积神经网络之一。它主要用于手写数字识别任务，并且在MNIST数据集上取得了很好的效果。LeNet的结构相对简单，包含两个卷积层、两个池化层和三个全连接层。AlexNet是由Alex Krizhevsky等人在2012年提出的，它在ImageNet大规模视觉识别挑战赛（ILSVRC）中取得了显著的成绩。AlexNet的提出标志着深度学习在计算机视觉领域的崛起。
【机器学习】图解VGG与ResNet （文末送书）
面向生活编程
12-21 5232
????粉丝福利送书：《 自然语言处理NLP从入门到项目实战》????点赞 ???? 收藏 ⭐留言 ???? 即可参与抽奖送书 ????下周二(12月28日)晚上20：00将会在【点赞区和评论区】抽一位粉丝送这本北京大学出版社的书~????????详情请看最后的介绍嗷~✨ 文章目录1. VGG1.1 网络输入1.2 网络各层结构2. ResNet福利送书 1. VGG VGG网络采用小的滤波器, 具有更深的网络结构。3x3 CONV，2x2 MAX POOL 三个 3x3 conv 的堆叠，具备等效
AlexNet、VGG、ResNet的区别与联系
weixin_41150257的博客
11-24 693
lexNet、VGG、ResNet都是深度学习中用于图像识别的卷积神经网络架构，它们之间既存在区别也有联系。
#Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
我爱机器学习
08-30 2608
Deep Learning一路走来，大家也慢慢意识到模型本身结构是Deep Learning研究的重中之重，而本文回顾的LeNet、AlexNet、GoogLeNet、VGG、ResNet又是经典中的经典。
五、VGG、AlexNet、ResNet网络（超详细哦）
qq_41760767的博客
07-30 9960
五、VGG、AlexNet、ResNet网络（超详细哦）1、 VGG 网络1.1、 VGG网络结构1.2、理解VGG16（19）卷积网络2、AlexNet网络2.1、AlexNet网络结构2.2、理解AlexNet网络2.3、Alexnet网络中各层的作用3、ResNet网络 1、 VGG 网络 1.1、 VGG网络结构 下面是VGG网络的结构（VGG16和VGG19都在）： • VGG16包含...
Le-Net、AlexNet、VggNet、googlenet、Resnet的发展与区别
pingguolou的博客
08-18 2047
Le-Net、AlexNet、VggNet、googlenet、Resnet的发展与区别
经典论文阅读笔记——AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet
gailj
03-19 1750
  近期读了一些经典论文，本博客主要是基于CNN方面经典的网络做一下总结，基于自己对论文的理解和向他人博客的学习总结。 AlexNet   AlexNet是2012年由深度学习之父Hinton的学生Alex提出的，其在图像处理方面优异的表现开创了一个新时代。这篇文章个人感觉偏重于工程性应用，尽管说许多idea放在今天已经不太实用了（现在有更好的方法和模型），但是在十年前能做出这样的成果确实是难能可贵的了。   上图是AlexNet的网络结构，总共有8层，其中卷积层有5层，剩下的是3个全连接层。可以看出它的
【AI面试题】AlexNet、VGGNet、GoogLeNet，ResNet等网络之间的区别是什么
Roaddd的博客
02-28 2349
       AlexNet： AlexNet相比传统的CNN，主要改动包括Data Augmentation（数据增强）、Dropout方法，激活函数用ReLU代替了传统的Tanh或者Siigmoid、采用了Local Response Normalization（LRN，实际就是利用临近的像素数据做归一化，（现在基本不用了））、Overlapping Pooling（有重叠，即Pooling的步长比Pooling Kernel的对应边
一文读懂最近流行的CNN架构（附学习资料）
数据派THU
01-14 3633
来源： 机器学习算法全栈工程师本文长度为4259字，建议阅读6分钟本文为你介绍CNN架构，包括ResNet, AlexNet, VGG, Inception。本文翻译自ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks，原作者保留版权。http://cv-tri
比较 VGG, resnet和inception的图像分类效果
dfj77477的博客
02-24 3015
简介 VGG, resnet和inception是3种典型的卷积神经网络结构。 VGG采用了3*3的卷积核，逐步扩大通道数量 resnet中，每两层卷积增加一个旁路 inception实现了卷积核的并联，然后把各自通道拼接到一起 简单起见，直接使用了[1]的代码来测试 resnet，然后用[2],[4]的代码替换[1]中的model，改了改通道，测 VGG 和 inception。 ...
卷积神经网络AlexNet和ResNet比较[2021论文]
weixin_44972997的博客
07-10 6064
本文是一篇`人工智能`前沿算法课设小论文，主要内容是对于经典模型`AlexNet`和`ResNet`的比较。整体上比较完整，由于是从文档上搬上来，所以在排版上有一些不规范，需要`完整论文或者参考文献`私信可免费提供。
CNN经典模型之ALexNet、ResNet、DenseNet总结和比较
qq_43741419的博客
11-22 8542
ALexNet是现代深度CNN的奠基之作，也是第一个深度卷积神经网络。而ResNet模型是为了解决深层次的神经网络的退化问题而提出，而残差思想本身也在一定程度上简化了模型的学习目标，使得模型训练更容易。DenseNet网络则是在ResNet的基础上，提出来的层与层的密集连接思想，并且因为实现和加强了特征重用，一定程度上减少了参数数量。
第十三节，卷积神经网络之经典网络LeNet-5、AlexNet、VGG-16、ResNet(三)(后面附有一些网络英文翻译文章链接)...
weixin_30247159的博客
04-09 709
一 实例探索 上一节我们介绍了卷积神经网络的基本构建，比如卷积层、池化层以及全连接层这些组件。事实上，过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来，形成有效的卷积神经网络。最直观的方式之一就是去看一些案例，就像很多人通过看别人的代码来学习编程一样，通过研究别人构建有效组件的案例是个不错的办法。实际上在计算机视觉任务中表现良好的神经网络框架往往也适用于其它任务，也许你的任务...
【深度学习基础】VGG与ResNet-Note
xinfeisizui的博客
12-26 1773
VGG与ResNet
【深度学习】AlexNet、VGG、GooLeNet、ResNet整理笔记
冷芝士鸭的学习笔记
04-20 7670
https://wenku.baidu.com/view/3ce7dbff7c192279168884868762caaedc33ba72.html
经典神经网络结构，AlexNet，VGG，GoogLeNet，ResNet
luoyehuixuanaaaa的博客
03-20 2057
一 AlexNet ImageNet Classification with Deep Convolutional Neural Networks 包含5个卷积层和3个全连接层 1 ReLU ReLU比tanh要快，非线性非饱和函数比非线性饱和函数要快 2 双GPU并行运行 3 LRN局部响应归一化 4 Overlapping Pooling 5 总体结构 防止过拟合...
AlexNet与ResNet18预训练模型的PyTorch实践指南
weixin_32836713的博客
10-07 1807
本文还有配套的精品资源，点击获取 简介：本文介绍了两个著名的深度学习网络模型——AlexNet和ResNet18的预训练权重文件，它们是图像识别领域的基石。这些模型通过在大规模数据集上的训练获得预训练权重，并在PyTorch框架下实现了高效的迁移学习。AlexNet作为深度学习在计算机视觉领域的重大突破，拥有处理复杂图像特征的能力。ResNet-18通过引入残差块，解决了深...
AlexNet和VGG，resnet的优势和缺点
03-24
<think>嗯，用户现在想了解AlexNet、VGG和ResNet的优势和缺点。我需要先回顾一下这些经典CNN模型的结构和特点，然后比较它们的优缺点。 首先，用户之前问过关于代码解析的问题，现在转向了模型比较，可能是在学习深度学习中的卷积神经网络，想要了解不同模型的演变。用户可能是学生或者刚入门的研究者，需要清晰的对比来帮助理解这些模型的差异。 接下来，我得分别分析每个模型。AlexNet是早期的成功模型，2012年ImageNet冠军，使用了ReLU和Dropout，但结构相对简单，参数量大，可能过拟合。VGG则通过小卷积堆叠加深网络，结构统一但参数量更大，计算成本高。ResNet引入了残差连接，解决了深层网络梯度消失的问题，允许训练非常深的网络，结构也更复杂。 要比较它们的优缺点，需要从网络深度、参数效率、创新点等方面展开。同时要注意用户可能需要知道为什么ResNet比VGG好，或者为什么这些模型会被后来的结构取代。可能还需要提到计算资源的需求，因为VGG参数量大，在实际应用中可能不高效。 另外，用户可能想知道这些模型的应用场景，比如AlexNet在早期图像分类的效果，VGG在特征提取上的优势，ResNet在深度上的突破。还要提到各自的缺点，比如AlexNet的过拟合问题，VGG的计算成本，ResNet虽然深但可能在某些情况下冗余。 需要确保用中文解释清楚，结构清晰，分点列出优缺点，可能用表格对比更直观。同时，要避免使用太多专业术语，或者如果使用的话，要简单解释一下，比如残差连接、梯度消失等概念。 最后，总结它们的演变，说明如何互相改进，以及后续的影响，比如ResNet对后续模型如DenseNet的启发。这样用户能有一个整体的认识，理解为什么这些模型在深度学习发展中重要。</think>以下是AlexNet、VGG和ResNet的对比分析，按技术演进顺序展开： --- ### **1. AlexNet (2012)** **🔍 核心创新** - 首个成功实践GPU加速的CNN（ImageNet 2012冠军） - 使用ReLU激活函数替代Sigmoid（缓解梯度消失） - 提出Dropout正则化（在FC层应用） **✅ 优势** ```python # 结构示例（简化版） nn.Sequential( nn.Conv2d(3,96,kernel_size=11,stride=4), # 大卷积核捕捉全局特征 nn.MaxPool2d(3,2), nn.Conv2d(96,256,kernel_size=5,padding=2), nn.MaxPool2d(3,2), nn.Conv2d(256,384,kernel_size=3,padding=1), nn.Conv2d(384,384,kernel_size=3,padding=1), nn.Conv2d(384,256,kernel_size=3,padding=1), nn.MaxPool2d(3,2), nn.Flatten(), nn.Linear(9216,4096), # 参数量爆炸点 nn.Dropout(0.5), nn.Linear(4096,4096), nn.Dropout(0.5), nn.Linear(4096,1000) ) ``` - 突破传统方法的性能瓶颈 - 奠定CNN基础设计范式 **❌ 缺点** - 参数量过大（如FC层占模型总参数量的95%+） - 大卷积核（11x11）导致计算效率低 - 网络深度有限（仅8层） --- ### **2. VGGNet (2014)** **🔍 核心创新** - 统一使用3x3小卷积核堆叠（参数量更少，感受野等效大卷积核） - 标准化网络结构（VGG16/VGG19） **✅ 优势** $$ \text{参数量优化} = \frac{(3\times3\times C_{in}\times C_{out})}{(5\times5\times C_{in}\times C_{out})} = \frac{9}{25} $$ - 更深的网络（16-19层）提升特征抽象能力 - 小卷积核堆叠实现高效局部特征提取 **❌ 缺点** ```python # VGG16参数量计算（部分层） Conv2d(3,64,kernel_size=3,padding=1): 3*3*3*64 = 1,728 Conv2d(64,64,kernel_size=3,padding=1): 3*3*64*64 = 36,864 ... Linear(4096,4096): 4096*4096 = 16,777,216 # 仍存在FC层参数冗余 ``` - 参数量仍较大（VGG16约1.38亿参数） - 深层网络梯度消失问题未解决 - 计算成本高（FLOPs是AlexNet的3倍） --- ### **3. ResNet (2015)** **🔍 核心创新** - 提出残差连接（Residual Connection） $$ \text{输出} = F(x) + x $$ - 使用Bottleneck结构（1x1卷积降维/升维） **✅ 优势** ```python # 残差块结构（PyTorch实现） class ResidualBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(out_channels) self.shortcut = nn.Sequential() if stride !=1 or in_channels != out_channels: self.shortcut = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride), nn.BatchNorm2d(out_channels) ) def forward(self, x): out = F.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) # 残差连接 return F.relu(out) ``` - 解决深度网络梯度消失问题（可训练1000+层网络） - 参数量显著优化（ResNet50仅约2500万参数） - 性能显著提升（ImageNet top-5错误率3.57%） **❌ 缺点** - 残差连接引入恒等映射可能造成信息冗余 - 极端深度时出现特征"稀释"现象（后被DenseNet改进） --- ### **📊 对比总结** | 指标 | AlexNet | VGG | ResNet | |-------------|------------------|------------------|------------------| | **深度** | 8层 | 16-19层 | 18-152层（可扩展至1000+） | | **参数量** | ~6000万 | ~1.38亿（VGG16） | ~2500万（ResNet50）| | **创新点** | ReLU/Dropout | 小卷积核堆叠 | 残差连接 | | **训练难度**| 易过拟合 | 梯度消失 | 稳定训练深度网络 | | **计算效率**| 较低（大卷积核） | 低（全连接冗余） | 高（Bottleneck设计）| --- ### **🔧 技术演进启示** 1. **AlexNet → VGG**：通过小卷积核堆叠实现更深网络，但未解决梯度问题 2. **VGG → ResNet**：残差连接突破深度限制，BatchNorm提升训练稳定性 3. **后续发展**：ResNet启发了DenseNet（密集连接）、ResNeXt（分组卷积）等变体 这些模型体现了CNN设计的核心思路演变：从追求特征提取效率（AlexNet/VGG）到解决深度训练难题（ResNet），最终实现精度与效率的平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值