AlexNet

最新推荐文章于 2022-10-11 18:30:00 发布
最新推荐文章于 2022-10-11 18:30:00 发布
阅读量1.4k 收藏 4
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38016957/article/details/101701482
版权

在这里插入图片描述

AlexNet

在这里插入图片描述
在这里插入图片描述

  • 首次引入了ReLU, Dropout和Local Response Normalization (LRN)等技巧。

  • 双CPU并行计算,在第三个卷积层Conv3和全连接层做信息交互
    在这里插入图片描述
    *算力：所需要的浮点数乘加的次数
    在这里插入图片描述
    在这里插入图片描述

  • 使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过了Sigmoid,解决了Sigmoid在网络较深时的梯度弥散问题,提高了网络的训练速率。

  • 为避免过拟合,训练时使用Dropout随机忽略部分神经元。

  • 利用数据增强减低过拟合。利用随机裁剪和翻转镜像操作增加训练数据量。

  • 使用重叠最大池化(Overlapping max pooling),最大池化可以避免平均池化的模糊化效果,而采用重叠技巧可提升特征的丰富性。

  • 提出了局部响应归一化(LRN)层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。

  • 利用GPU的并行计算能力加速网络训练过程,并采用GPU分块训练的方式解决显存对网络规模的限制

数据增强：

在这里插入图片描述

图像的层次：
  • 测试时,网络剪裁5个224x224图块(4个角图块和1个中心图块)以及它们的水平反射(总共10个)进行预测,并对网络的softmax层的预测求10个图块平均值。
    By image translation (图像平移) : (256-224)2= 32 = 1024
    By horizontal reflection (水平反射) : 1024 x 2= 2048
  • 如果没有该方案, AlexNet网络会遭受严重的过拟合,这将迫使使用更小的网络。
像素的层次：

改变训练集RGB通道的图像像素强度(intensity):
在这里插入图片描述
该方法即增加了目标对光照强度和颜色变化的鲁棒性,把top-1错误率减少了1%.

重叠最大池化

使用重叠最大池化(Overlapping max pooling),最大池化可以避免平均池化的模糊化效果,而采用重叠技巧可提升特征的丰富性
在这里插入图片描述

  • 一般用于池化的小块是不重叠的。
  • 而AlexNet所使用的池化是可重叠的,即在池化的时候,每次移动的步幅小于池化的边长。
  • AlexNet的池化的大小为3x3,每次池化移动步幅为2。这样就会出现重叠
  • 相比s=2,2= 2的非重叠池化方法,该方法使top-1和top-5的错误率分别降低了0.4%和0.3%

局部响应归一化 Local Response Normalization (LRN)

  • 局部归一化的动机:在神经生物学中有一个概念叫做“侧抑制(Lateral inhibition)"。其含义是被激活的神经元会对相邻的神经元产生抑制作用。
  • 局部响应归一化就是借鉴"侧抑制”的思想是实现局部抑制。对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。
  • 当使用ReLU时,这种侧抑制能够帮助提升识别精度。
方法：

LRN对相同空间位置上相邻深度的卷积结果使用距离相关的加权平均函数做归一化。
在这里插入图片描述
归一化之后，越大的值得到的结果也越大，实现了距离相关的加权平均函数。
在这里插入图片描述
改变超参数可以实现其它归一化操作,如当k-0, n-N, a-1,B-0.5便是经典的 l2 归一化。

  • LRN把top-1和top-5的错误率分别降低了1.4%和1.2%
  • 2015年VGGNet论文Very Deep Convolutional Networks for Large-Scale ImageRecognition提到LRN对VGGNet作用不大

AlexNet损失函数(Loss Function)

  • Softmax回归(或多类别逻辑回归, Softmax regression, multinomial logistic regression )是逻辑回归对处理多个类别的情况的推广。
  • 多类别逻辑回归的优化目标,相当于在预测分布下最大化训练样本中正确标签的对数概率的平均值。
  • 采用独热One-hot标签编码时,目标误差函数等同于交叉熵损失
    在这里插入图片描述

在这里插入图片描述

小智rando
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DL之AlexNet：AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-30 1万+
DL之AlexNet：AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略 相关文章Dataset：数据集集合(CV方向数据集)——常见的计算机视觉图像数据集大集合(建议收藏，持续更新)DL之CNN(paper)：关于CNN(卷积神经网络)经典论文原文(1950~2018)简介、下载地址大全(非常有价值)之持续更新(吐血整理)DL之AlexNet：AlexNet算法的简介...
机器学习中的损失函数 （着重比较：hinge loss vs softmax loss）
热门推荐
Vinicier的专栏
11-09 8万+
1. 损失函数损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示： θ∗=argminθ1N∑i=1NL(yi,
CNN经典网络模型（二）：AlexNet简介及代码实现（PyTorch超详细注释版）
qq_43307074的博客
10-01 1万+
CNN经典网络模型之一：AlexNet，本文包含其简介及代码，在PyTorch中实现，进行超详细注释，适合新生小白阅读学习~
AlexNet-深度卷积神经网络(CNN卷积神经网络)
西小庄村高伟 的博客
10-11 5326
AlexNet深度卷积神经网络
caffe loss
ZhikangFu的专栏
05-29 2054
损失函数，一般由两项组成，一项是loss term,另外一项是regularization term。 J=L+R 先说损失项loss，再说regularization项。 1. 分对得分1，分错得分0.gold standard 2. hinge loss(for softmargin svm),J=1/2||w||^2 + sum(max(0,1-yf(w,x)))
机器学习总结（一）：常见的损失函数
以梦为马，不负韶华
03-30 4万+
这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这
AlexNet-Pytorch
11-09
**AlexNet-Pytorch**是基于深度学习框架PyTorch实现的AlexNet模型。这个模型在计算机视觉领域具有里程碑式的意义，它首次展示了深度神经网络在图像分类任务上的强大能力，尤其是在2012年的ImageNet Large Scale ...
AlexNet imagenet
11-07
李飞飞的imagenet数据库下构建的AlexNet代码，可以实现针对任意图片的准确率判别和目标的检测
PyTorch实现AlexNet示例
09-18
在深度学习领域，AlexNet是一个著名的卷积神经网络（CNN）模型，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年提出，并在ImageNet大规模视觉识别挑战赛（ILSVRC）中取得了突破性的成果。这个模型的...
预训练AlexNet模型参数
09-13
AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年提出的一款深度卷积神经网络（CNN，Convolutional Neural Network），在ImageNet图像识别挑战赛上取得了突破性的成绩，开启了深度学习在计算机...
alexnet工具箱
05-20
alexnet工具箱下载，需在打开Matlab 找到alexnet所在路径
alexnet.py
11-26
《深度学习模型解析：AlexNet、Inception、ResNet、OverFeat与VGG》 在当今的计算机视觉领域，深度学习模型已经占据了主导地位，其中AlexNet、Inception、ResNet、OverFeat以及VGG是极具代表性的网络结构。本文将...
AlexNet图像分类
最新发布
05-04
**AlexNet图像分类** AlexNet是深度学习领域的一个里程碑式的工作，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年的ImageNet Large Scale Visual Recognition Challenge（ILSVRC）中提出。这个模型...
AlexNet.zip
03-04
《AlexNet在MATLAB环境下的实现与应用》 AlexNet，作为深度学习领域的里程碑之作，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年提出，在ImageNet图像识别挑战赛上取得了显著的成绩，开启了深度学习...
tensorflow实现alexnet
12-16
tensorflow实现手写数字识别，参考了别人在kaggle上的开源代码
AlexNet--CNN经典网络模型详解（pytorch实现）
weixin_44023658的博客
04-27 1万+
二、AlexNet 在imagenet上的图像分类challenge上大神Alex提出的alexnet网络结构模型赢得了2012届的冠军，振奋人心，利用CNN实现了图片分类，别人用传统的机器学习算法调参跳到半死也就那样，Alex利用CNN精度远超传统的网络。 1. conv1阶段DFD（data flow diagram）： 第一层输入数据为原始的2272273的图像，这个图像被11113的卷...
神经网络训练加速、增加稀疏性操作（Dropout、GN、BN、LRN）
qq_37705280的博客
04-12 3657
增加稀疏性（降低过拟合风险）----Dropout、LRN Dropout Dropout是怎么做到防止过拟合的呢？首先，想象我们现在只训练一个特定的网络，当迭代次数增多的时候，可能出现网络对训练集拟合的很好，但是对验证集的拟合程度很差的情况。所以，我们有了这样的想法：可不可以让每迭代随机的去更新网络参数，引入这样的随机性就可以增加网络generalize 的能力。所以就有了d...
【卷积神经网络-进化史】从LeNet到AlexNet
AutoVision (by 仙道菜)
05-17 7万+
本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。 主要引用刘昕博士的思路，将按照如下方向对CNN的发展作一个更加详细的介绍：【从LeNet到AlexNet】、【进化之路一：网络结构加深】、【进化之路二：加强卷积功能】、【进化之路三：从分类到检测】、【进化之路四：新增功能模块】
深度学习的局部响应归一化LRN(Local Response Normalization)理解
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
onnx alexnet
08-19
要加载和使用 ONNX 中的 AlexNet 模型，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了 ONNX 和 PyTorch。ONNX 可以使用上一条回答中的步骤进行安装，而 PyTorch 可以通过官方网站或使用 pip 进行安装。 2. 下载预训练的 AlexNet 模型的 ONNX 版本。您可以在 ONNX Model Zoo 中找到该模型的下载链接：https://github.com/onnx/models/tree/master/vision/classification/alexnet 3. 使用 ONNX 模块中的 `load` 方法加载 ONNX 模型，并使用 PyTorch 的 `torch.onnx.export` 方法将其转换为 PyTorch 模型。以下是一个简单的示例代码： ```python import torch import torchvision.models as models import onnx # 加载预训练的 AlexNet 模型 onnx_model_path = "alexnet.onnx" model = onnx.load(onnx_model_path) # 将 ONNX 模型转换为 PyTorch 模型 pytorch_model = models.AlexNet() torch.onnx.export(model, torch.randn(1, 3, 224, 224), "alexnet.pth") # 加载转换后的 PyTorch 模型 pytorch_model.load_state_dict(torch.load("alexnet.pth")) ``` 这样，您就成功加载了 ONNX 中的 AlexNet 模型，并将其转换为 PyTorch 模型。您可以根据需要进行进一步的使用和调整。请确保 ONNX 模型和转换后的 PyTorch 模型的路径正确，并根据您自己的需求进行相应的修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值