一、CNN奠基作——AlexNet

已于 2024-02-14 02:33:19 修改
阅读量2k 收藏 16
点赞数 4
分类专栏： 神经网络 深度学习笔记 文章标签： cnn 人工智能 神经网络
于 2022-10-14 21:04:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46308522/article/details/127327439
版权

1. AlexNet架构

​ 第一次看论文中给出的架构图，或多或少都会很懵逼，因为整个网络是由上下两个部分组成的，与我们平时所见的神经网络架构不同。

image-20221014170242431

​ 最左边的是输入图片，中间 5 层是经过卷积层处理后得到的 feature map，最右边 3 层是全连接层的输出。给上图加上神经网络各层后，可得到下面的图片。

image-20221014170918728

​ 作者是将 AlexNet 分为了两部分，如上图所示，上面的部分由 G P U 1 GPU_1 GPU1​ 训练，下面的部分由 G P U 2 GPU_2 GPU2​ 训练。
上面的图不好理解，可以“压缩”为一张图，如下图所示。（实际上，作者也在一块 GPU 上做了实验，只是修改了部分结构）

2. 创新点

​ AlexNet 的创新点如下面的思维导图所示，接下来简单地介绍下每种技术。

image-20221014171447017

2.1 ReLU

使用 ReLU 作为 CNN 的激活函数，验证了其效果在较深的网络中超过了 Sigmoid，成功解决了 Sigmoid 在网络较深时的梯度弥散问题。

说明：

​ 首先，激活函数的发展：线性激活函数 → 非线性激活函数(如Sigmoid、Tanh) → 非饱和的非线性激活函数(ReLU 及其变体)。

​ ReLU 是一个激活函数，而且是一个非饱和的非线性激活函数，因此，需要知道：（1）什么是激活函数；（2）何为线性、非线性；（3）何为饱和、非饱和。参考资料如下：

  • 激活函数：

    https://blog.csdn.net/u013250861/article/details/111363054

  • 线性、非线性：

    https://www.cnblogs.com/tianqizhi/p/9570975.html

    https://www.zhihu.com/question/484469783（李钢蛋）

  • 饱和、非饱和：

    https://blog.csdn.net/qq_40824311/article/details/103017760

  • 关于 ReLU：

    https://blog.csdn.net/u012905422/article/details/52601022

    https://zhuanlan.zhihu.com/p/427473958

2.2 双GPU

​ 作者设计的全连接层太大了，95% 的参数都在全连接层上，导致网络放不到 GPU 中去，所以作者使用了两块 GPU。

​ AlexNet 分布在两块 GPU上，每块 GPU 的显存中储存了一半的神经元的参数。因为 GPU 之间通信方便，可以互相访问显存，而不需要通过主机内存，所以同时使用多块 GPU 是非常高效的。同时，AlexNet 的设计让GPU 之间的通信只在网络的某些层进行，控制了通信的性能损耗。使用两块 GPU 加速了神经网络的训练。

​ 但从现在的角度来说，完全没有必要使用两块 GPU。因为现在我们通常不会把全连接层设计的太大，且现在的 GPU 性能已经得到了很大的提升。

为什么深度学习中使用 GPU 而不是 CPU？

参考链接：https://www.run.ai/guides/gpu-deep-learning

（简单来说，GPU 可以并行操作）

2.3 局部响应归一化(LRN)

ReLU 不需要归一化来防止饱和，但 Alex 认为他的这个 LRN 有利于泛化。后来 VGG 作者在论文[1]中通过对比实验证明了 LRN 并无泛化作用，今天我们也不使用 LRN 了。

附：

  • [1] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In ICLR, 2015.

2.4 重叠池化

​ 在此之前，使用最多的是平均池化。平均池化的优点是能很好地保留背景，但它的缺点也很明显，就是容易使得图片变模糊。因此，作者考虑使用最大池化，这就很好的避免了平均池化的缺点。同时，作者在最大池化的基础上引入了重叠的概念，即让池化步长小于池化窗口的大小，从而产生重叠的部分。作者认为这样可以减轻过拟合，虽未证实这个观点，现在也不再使用这个重叠的池化，但最大池化的效果得到了很好的证明。

附参考资料：

  • https://blog.csdn.net/weixin_39835991/article/details/111375786
  • https://blog.csdn.net/u013289254/article/details/99080916

2.5 端到端

​ 论文中的原话如下图所示。

image-20221014172933740

附参考资料：

  • https://blog.csdn.net/happyhorizion/article/details/100607429

  • https://blog.csdn.net/qq_32618327/article/details/91127384

    简单来说，由原始图像经过中间的神经网络得到最后的输出。不对原始图像做处理，也不关心神经网络干了啥事。

2.6 降低过拟合

​ 由于 AlexNet 太大了，以至于即使像 ImageNet 这么大的数据集，也会产生严重的过拟合现象。因此，降低过拟合是作者的一大工作重点。作者使用了两种方法降低过拟合：数据增强、Dropout。

那什么是过拟合呢？参考资料：

  • https://www.bilibili.com/video/BV1Lx411j7iM/

​ 在介绍这两种方法前，先说说作者在输入端是如何裁剪图片的。

image-20221014192342674

​ 作者提到，他们的系统要求输入的是同维的图片，但 ImageNet 中的图片大小不同。他们先裁剪短边，使其为 256。对长边而言，从中心裁 256，这样就相当于在原始图片的中间位置裁了一个 256 * 256 大小的图片。举个例子，如下图所示：

原文中提到了两种处理过拟合的方法：数据增强、Dropout

2.6.1 数据增强

​ 最常用、最简单的方法就是做数据增强，也就是扩充数据集。如下图所示，做数据增强后，
原本过拟合的曲线渐渐拉直了，明显降低了过拟合。作者使用了两种数据增强方法。

(1) 随机裁剪 + 水平反转
  • 在 256 * 256 * 3 的图像上，随机裁剪，裁剪的窗口大小为 224 * 224，如图 1 所示；
  • 对图像做水平反转，再随机裁剪，如图 2 所示。

image-20221014175836985

​ 综上，一张图片再经过上述的两步操作后变为 32 * 32 * 2，共 2048 张图片，由此，训练集大小变为原来的 2048 倍。

​ 需要指出的是，这些图片是高度相似的。即使高度相似，这步操作也是必须的，因为主要矛盾是过拟合。由于增大了数据集，所以减轻了过拟合。

(2) 对 RGB 三通道的颜色和光照进行变换

​ 作者之所以这样操作，是因为抓住了一个重要特征：物体的特性不会随着光照强度、颜色的变化而变化。如下原文：

image-20221014180109248

​ 具体做法：对 RGB 三通道的颜色和光照进行了变换，使用了 PCA 方法，求出了 RGB 3 * 3 协方差矩阵的特征值和特征向量，在主成分上对颜色加了随机的变换，这样一张图就可以变成很多张图。

附：

附：比较有意思的 一点是，作者在 GPU 上训练模型，在 CPU 上做模型增强。如下原文所示：

image-20221014180438901

​ 意思是说，用 Python 代码在 CPU 上完成的，当 GPU 在训练上一轮时，下一轮的数据增强已经做好了，不需要存放在硬盘上，存放在内存上和显存上就可以了。

​ 但需要指出的是，即使是数据增强，我们一般也是在 GPU上进行，因为 GPU 处理图片会比 CPU 快，否则在 CPU上做数据增强很可能造成效率瓶颈。

2.6.2 Dropout

什么是 Dropout，原理是什么？参考资料：

  • https://blog.csdn.net/program_developer/article/details/80737724
  • https://blog.csdn.net/stdcoutzyx/article/details/49022443

​ Dropout 是作者的导师给他的建议，当然，Dropout 也是他们课题组提出的，相关的论文[2]也是发表于 2012 年。

[2] G.E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R.R. Salakhutdinov. Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580, 2012.

image-20221014180659802

  • 视频地址：https://www.bilibili.com/video/BV1yt4y157vD/。介绍了 AlexNet 的一些趣事。
为什么Dropout可以降低过拟合？

在论文[2]中，作者提出了两个 Dropout 可以降低过拟合的原因。

(1) 防止神经元之间的共适应
每次都以 0.5 的概率失活一半的神经元，这样神经元之间的依赖就会减轻，迫使它去学习更鲁棒的特征。
(2) 做模型平均
每次随机失活一半的神经元，导致网络结构变化，就类似在训练不同的网络。整个 Dropout 的过程就相当于对很多个不同的神经网络取平均，而取平均则有可能让一些“相反的”拟合互相抵消，从而达到整体上减少过拟合。

​ 需要指出的是使用 Dropout 也是有缺点的，它使得收敛所需的时间变为原来的 2 倍。

​ 后来，Hinton 的课题组做了些研究，在论文[3]中证明了 Dropout 不是在做模型融合，也就是上节提到的模型平均，而是等效于一个 L 2 L_2 L2​ 正则项，只是无法构造出这个正则项。

  • [3] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

3. 实验

3.1 Details of learning

3.1.1 随机梯度下降

梯度下降是什么？举个例子，就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择的方向不同，我们找到的最低点可能不是真正的最低点，所以问题在于两点：（1）如何选择方向；（2）如何向下走。
在机器学习中，有时候需要对原始的模型构建损失函数，然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。而在求解机器学习参数的优化算法中，使用较多的就是基于梯度下降的优化算法。在 AlexNet 这篇论文后，随机梯度下降成为机器学习中最主流的优化算法。

简言之，优化算法使用来求解损失函数参数的，而梯度下降是其中的一种优化算法。

参考资料:

  • https://www.cnblogs.com/lc1217/p/7085034.html

3.1.2 权重衰减(weight decay)

权重衰减也叫 L 2 L_2 L2​ 正则化， L 2 L_2 L2​ 正则化就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题。需要指出的是，weight decay 不是加在模型上的，而是加在优化算法上的，如 SGD。

参考资料：

  • https://blog.csdn.net/qq_46092061/article/details/121388894
  • https://blog.csdn.net/qq_36627158/article/details/109714469

3.1.3 momentum

在训练网络时，一开始会对网络进行权值初始化，但这个初始化一般不是最合适的，因此可能就会出现损失函数在训练的过程中出现局部最小值的情况，而没有达到全局最优的状态。momentum 的出现可以在一定程度上解决这个问题。在 AlexNet 这篇论文后，momentum 动量用得越来越多。

参考资料：

  • https://blog.csdn.net/weixin_43687366/article/details/108214854
  • https://blog.csdn.net/bvl10101111/article/details/72615621

3.1.4 学习率

作者将学习率初始化为 0.01，在训练过程中，当验证误差不下降了，就手动的把它降低 10 倍，如下图中蓝线所示，呈阶梯型下降。但为什么下降 10 倍，而不是其他倍数？什么时候下降？这些都是很难把握的。后来，这种方法由于太复杂，渐渐被其他方法替代了。
ResNet 中使用的方法是，训练 120 轮，每 30 轮下降 0.1，现在我们也更倾向于这种做法。具体做法是，将学习率初始化为 0，让其线性上升，再使用平滑一点的曲线来下降学习率，如 cos 函数，如下图中紫线所示。

image-20221014194257262

3.2 Results

​ 作者在本部分想说的事就是他在几个不同版本的 ImageNet 数据集上做了实验，实验结果都表明 AlexNet 的错误率最低。以其中一个实验为例，如下图所示，可以看到 CNN 完胜传统的方法，也是从 AlexNet 开始，CNN 开始得到机器学习界的重视，此后就开始它在计算机视觉领域的高光之路。

image-20221014200416939

​ 实验结果中最重要的就是这个 4096 维向量。

​ 最后得到的这个 4096 维向量，具有丰富的语义信息，如果两张图片的 4096 向量特别接近的话，那么这两张图片中的物体可能是同一个物体。

​ 以大象为例，可以看出，右侧图片中大象的姿势与左侧图片中大象的姿势并不相同，即使这样，匹配的 5 张图片也与测试集中的那张相似，这也从侧面说明了这个 4096 维的向量的确具有丰富的语义信息。

image-20221014200752204

​ 作者还提到，直接使用 4096 维的向量进行对比效率非常低，但可以通过自动编码器将这些向量压缩为短二进制代码，然后再比较。

​ 有意思的是，两块 GPU 提取到的特征不同，如下图所示。

image-20221014201026602

image-20221014201049221

4. AlexNet的局限性

4.1 有其然，无其所以然

​ 有很多点，作者只是说明了效果好，但没有解释为什么效果好，比如 LRN、重叠池化等。

4.2 深度对模型性能的影响

​ 作者在 Discussion 中提到，如果减少中间的任意一层，就会造成 2% 的误差。

image-20221014202712568

​ 作者由此推断出，神经网络的深度很重要。但这个因果关系有点牵强，仅凭 %2 的损失并不能说明深度一定是性能的决定因素，因为很有可能是参数没有设置好。实际上，AlexNet 能在去掉一些层后，通过修改中间参数，还是有办法达到接近的性能的。

​ 这个推断后来由 2013 年的 ImageNet 竞赛冠军 ZFNet[4]验证出来。

附：

  • [4] M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional neural networks. In ECCV, 2014.

4.3 全程无监督

​ 无论是预训练还是训练，作者使用的数据集都是有标签的。

image-20221014203541505

4.4 全连接层设计得太大

​ 前面提到过，95% 的参数都在全连接层上，导致全连接层太大，无法放到一块 GPU 中去。

5. 收获

经验上的收获

  • 激活函数可能更倾向于选 ReLU
  • 池化，根据情况选最大池化还是平均池化
  • 降低过拟合：数据增强、Dropout
  • 优化损失函数参数时，更倾向于随机梯度下降，并搭配 weight decay 和 momentum
  • 学习率可能会参考 ResNet，然后使用 cos 等函数平滑减小其值
  • 由人类能看懂的像素，通过中间网络的特征提取后，变成了机器能看懂的向量，然后用于搜索或分类
  • 直接使用 4096 维的向量进行对比效率非常低，但可以通过自动编码器将这些向量压缩为短二进制代码，然后再比较
  • 后续的研究可能更倾向于无监督学习

总结

  1. 学习本文主要参考了原论文和 B 站上两位大佬的讲解。

  • 原论文：A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012. 2

  • AlexNet 解读：

    李沐：https://www.bilibili.com/video/BV1ih411J7Kz/

    子豪兄：https://www.bilibili.com/video/BV1UQ4y1y7A3/

  1. 现在回顾一下，其实作者重点做了两件事：（1）网络太大了，怎么把它放到 GPU 中？切分网络，放到双 GPU 中；（2）网络太大，面临严重的过拟合问题？降低过拟合。
哆啦 AI 梦
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AlexNet网络结构详解与模型的搭建
01-20
首先贴出三个链接： 1. AlexNet网络结构详解视频 2. 使用pytorch搭建AlexNet并针对花分类数据集进行训练 3. 使用tensorflow搭建AlexNet并针对花分类数据集进行训练 AlexNet是2012年ILSVRC 2012（ImageNet Large Scale Visual Recognition Challenge）竞赛的冠军网络，分类准确率由传统方法的 70%+提升到 80%+（当时传统方法已经进入瓶颈期，所以这么大的提升是非常厉害的）。它是由Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，深度学习开始迅速发展。下图是从Alex
四大经典CNN架构之一(ALexNet)
12-21
本资源详细解读了经典论文ImageNet Classification with Deep Convolutional Neural Networks，主要介绍ALexNet的架构、特点、计算流程
CNN网络模型——AlexNet（网络讲解和代码实现）
最新发布
qq_73075805的博客
05-12 782
不管是卷积层还是池化层，我们都可以看成一种对。
Alexnet中的LRN
Loong Cheng的博客
10-17 1539
LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout，是一种防止过拟合的方法。这个函数很少使用，基本上被类似Dropout这样的方法取代，见最早的出处AlexNet论文对它的定义, 《ImageNet Classification with Deep ConvolutionalNeural Networks》。 是归一化后...
AlexNet创新点
zrh_CSDN的博客
08-01 3304
AlexNet主要使用到的新技术点如下。 （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。 （2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将...
AlexNet中的局部响应归一化（LRN）
qq_43660987的博客
06-29 1966
1，简介 局部响应归一化（Local Response Normalization，LRN），提出于2012年的AlexNet中。首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部...
pytorch 中 in-place
m0_43395719的博客
09-28 394
in-place inplace-选择是否进行覆盖运算 Torch 为了提高速度，model:forward() 操作之后赋予的变量是不给这个变量开盘新的存储空间的，而是 引用。就相当于 起了个别名。 in-place operation在pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。可以把它成为原地操作符。 在pytorch中经常加后缀“”来代表原地in-place operation，比如说.add() 或者.scatter()。python里面的
在AlexNet中LRN 局部响应归一化的理解
热门推荐
Microstrong
03-03 1万+
微信公众号 一、LRN技术介绍： Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。 AlexNet将LeNet的思想发扬光大，把CNN的基...
AlexNet-Cnn模型
02-20
AlexNet-Cnn模型
Faster R-CNN论文翻译——中英文对照
11-27
深度学习进行物体检测的鼻祖论文，学习目标检测的经典文献，中英文对照翻译。。。
AlexNet_kerasalexnet_keras_深度学习_alexnet_CNN_
10-01
基于keras框架的深度学习经典网络AlexNet。适用于深度学习初学者
CNN0926_一维卷积_matlab1D-CNN
09-11
一维卷积代码，基本的网络结构，输入 卷积 池化 卷积 池化 输出，可实现分类的功能
使用CNN和AlexNet进行坑洼检测-研究论文
05-20
CNN和AlexNet是检测坑洼的第二种方法。 在由300个包含坑洞和非坑洞图像的图像组成的平衡数据集上测试了两种方法。 由于深度学习训练需要更多图像，因此这可以通过使用数据增强来增加数据集的大小来实现。 通过使用...
alexnet.rar_CNN_alexnet matlab_cnn in matlab_matlab Alexnet_thi
07-15
CNN in matlab to use webcam for things rgconitzing
神经网络_Fashion_mnist_alexnet_CNN_
09-30
包含深度学习中的基础编码知识，fashion_mnist识别，softmax层，线性层，多层感知机等等，Alexnet
使用python+tensorflow 2实现了CNN经典模型AlexNet
10-05
使用python+tensorflow 2实现了CNN经典模型AlexNet
图像分类篇——AlexNet详解
qq_52053775的博客
04-24 9923
一、概述 AlexNet是由2012年ImageNet竞赛参赛者Hinton和他的学生AlexKrizhevsky设计的。AlexNet在当年赢得了ImageNet图像分类竞赛的冠军，使得CNN成为图像分类问题的核心算法模型，同时引发了神经网络的应用热潮。 1.AlexNet的创新 作为具有历史意义的网络结构，AlexNet包含以下方面的创新。 (1)非线性激活函数ReLU 在AlexNet出现之前，sigmoid是最为常用的非线性激活函数。sigmoid函数能够把输入的连续实值压缩到0和...
卷积神经网络CNN里经典网络模型之 AlexNet全网最详解（理论篇）
qq_55433305的博客
11-03 6248
CNN里AlexNet网络的最后一层输出喂给了一个包含1000个单元的softmax层，用来对1000个标签进行预测。响应归一化层（Response-normalization layers）跟在第1和第2卷积层后面，Max-pooling层跟在Response-normalization层和第5卷积层后面，ReLU激活函数应用与所有卷积层和全连接层输出后。AlexNet的特点：使用ReLu作为激活函数、.数据增广（Data Augmentation增强）抑制过拟合、使用Dropout抑制过拟合
AlexNet网络结构的实现和详解
pyscl01的博客
10-27 4033
AlexNet的网络结构详解，花分类数据集的下载和划分，以及模型代码和训练代码的详解
onnx alexnet
08-19
要加载和使用 ONNX 中的 AlexNet 模型，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了 ONNX 和 PyTorch。ONNX 可以使用上一条回答中的步骤进行安装，而 PyTorch 可以通过官方网站或使用 pip 进行安装。 2. 下载预训练的 AlexNet 模型的 ONNX 版本。您可以在 ONNX Model Zoo 中找到该模型的下载链接：https://github.com/onnx/models/tree/master/vision/classification/alexnet 3. 使用 ONNX 模块中的 `load` 方法加载 ONNX 模型，并使用 PyTorch 的 `torch.onnx.export` 方法将其转换为 PyTorch 模型。以下是一个简单的示例代码： ```python import torch import torchvision.models as models import onnx # 加载预训练的 AlexNet 模型 onnx_model_path = "alexnet.onnx" model = onnx.load(onnx_model_path) # 将 ONNX 模型转换为 PyTorch 模型 pytorch_model = models.AlexNet() torch.onnx.export(model, torch.randn(1, 3, 224, 224), "alexnet.pth") # 加载转换后的 PyTorch 模型 pytorch_model.load_state_dict(torch.load("alexnet.pth")) ``` 这样，您就成功加载了 ONNX 中的 AlexNet 模型，并将其转换为 PyTorch 模型。您可以根据需要进行进一步的使用和调整。请确保 ONNX 模型和转换后的 PyTorch 模型的路径正确，并根据您自己的需求进行相应的修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值