AlexNet（使用丢弃法）

已于 2023-04-09 21:01:40 修改
阅读量263 收藏 1
点赞数
文章标签： 深度学习 计算机视觉 神经网络
于 2023-04-09 20:54:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43969367/article/details/130042560
版权

一、结构：使用了8层卷积神经网络，5层卷积层和2层全连接隐藏层和1个全连接输出层

二、特点：更深的网络结构

                使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征

                使用dropout(丢弃法)抑制过拟合，Dropout可以看成是一种将模型进行随机的组合，可以增加其他神经元被训练到的可能性。

                使用数据增强Data Augmenttation抑制过拟合

                使用非线性激活函数Relu替换之前的线性函数sigmoid作为激活函数，因为Relu：计算量大大减少，收敛速度快，重叠池化可以避免过度拟合

                使用CPU进行训练

                重叠池化：在池化的时候，每次移动的步长小于池化的窗口长度

三、补充知识点：输出特征图像大小=（输入图像尺寸-卷积核大小）/步长+1

    

李大锤
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文阅读】【AlexNet】【dropout】ImageNet Classification with Deep Convolutional Neural Networks
小欧欧的博客
06-25 762
一、这是AlexNet,虽然是很多年前的网络了，但是在今天依然有着举足轻重的地位！特别是其中的思想，非常关键！ 二、主要思想 1、采用了非饱和神经元（通过Relu-非饱和非线性函数） 2、多GPU拆分计算 3、在全连接层采用了Dropout来降低overfitting 4、利用了LRN（local response nor...
AlexNet----Dropout
weixin_30374009的博客
05-05 1634
一、介绍 AlexNet最后2个全连接层中使用了Dropout，因为全连接层容易过拟合，而卷积层不容易过拟合。 1.随机删除网络中的一些隐藏神经元，保持输入输出神经元不变； 2.将输入通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播； 3.对于另外一批的训练样本，重复上述操作1 二、作用、原理 1.相对于训练大量模型耗费大量时间，dropout在AlexN...
caffe study(5) - AlexNet 之算法篇
lien0906的专栏
03-27 1281
原文地址：study(5) - AlexNet 之算法篇" style="text-decoration:none; color:rgb(49,139,146)">caffe study(5) - AlexNet 之算法篇作者：机器学习讲座 在机器学习中，我们通常要考虑的一个问题是如何的“以偏概全”，也就是以有限的样本或者结构去尽可能的逼近全局的分布。这就要在样本以及结构模型上下一些工夫。
tensorflow实现AlexNet
修炼之路
06-11 1万+
AlexNet是Hinton的学生Alex Krizhevsky在2012年提出的深度卷积神经网络，它是LeNet一种更深更宽的版本。在AlexNet上首次应用了几个trick，ReLU、Dropout和LRN。AlexNet包含了6亿3000万个连接，6000万个参数和65万个神经元，有5个卷积层，3个全连接层。在ILSVRC 2012比赛中，AlexNet以top-5的错误率为16.4%的显著...
经典卷积神经网络详解（AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet、CSPNet、Darknet、EfficientNet、SqueezeNet..）
zyw2002的博客
03-04 1万+
经典卷积神经网络详解（AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet、CSPNet、Darknet、EfficientNet、SqueezeNet,MobileNet,GhostNet等）
打卡02：丢弃法
01-06
丢弃法 多层感知机中神经网络图描述了一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，且隐藏单元hih_ihi​（i=1,…,5i=1, \ldots, 5i=1,…,5）的计算表达式为 hi=ϕ(x1w1i+x2w2i+x3w3i+x4w4i+bi) h_...
从零丢弃法的实现
01-07
%matplotlib inline import torch import torch.nn as nn import numpy as np import sys sys.path.append(/home/kesci/input) import d2lzh1981 as d2l print(torch.__version__) ... # 这种情况下把全部元素都丢弃
PyTorch实现AlexNet示例
09-18
本文将详细介绍如何使用PyTorch实现AlexNet。 首先，AlexNet的核心结构包括多个卷积层、池化层、全连接层以及激活函数。在PyTorch中，我们可以创建一个`nn.Module`子类来定义这个模型。以下是一个简单的AlexNet实现...
AlexNet-Cnn模型
最新发布
02-20
- **非饱和神经元**：AlexNet使用了ReLU作为激活函数，相比于传统的sigmoid或tanh函数，ReLU可以有效避免梯度消失的问题，加快训练速度。 - **GPU加速**：为了提高训练效率，研究人员利用GPU强大的并行计算能力对...
经典卷积神经网络之-2012-AlexNet-MNIST（建议使用GPU来跑）.zip
01-28
AlexNet使用了不同大小的卷积核，如11x11、5x5和3x3，以捕获不同尺度的特征。 3. **池化层**：池化层用于减少数据的维度，常采用最大池化，有助于防止过拟合并保持模型的鲁棒性。AlexNet使用2x2的最大池化窗口。 4...
AlexNet详解
tt丫的博客
01-03 4559
分为上下两层，分别对应两个GPU的操作过程，除了中间某些卷积层和全连接层会有GPU间的交互外，其他层都是由两个GPU分别计算结果。除去局部响应规范化操作（LRN），AlexNet一共包含8层，前5层由卷积层（其中卷积层1、2、5后含有下采样层）组成，（中间还夹带一个平均池化），剩下的3层为全连接层。最后一层全连接层输出，得到1000个图像分类标签对应的得分值。除了GPU并行结构的设计，AlexNet网络结构和LeNet很相像。
经典神经网络-------AlexNet
weixin_43350614的博客
12-13 343
经典网络 2012年，Imagenet比赛冠军的model——Alexnet [2]（以第一作者alex命名）。caffe的model文件在（2）。说实话，这个model的意义比后面那些model都大很多，首先它证明了CNN在复杂模型下的有效性，然后GPU实现使得训练在可接受的时间范围内得到结果，确实让CNN和GPU都大火了一把，顺便推动了有监督DL的发展。 AlexNet网络模型特性： 使用Re...
深度学习—卷积神经网络AlexNet
DIPDWC的博客
05-28 1378
卷积神经网络AlexNet1. AlexNet的历史2. AlexNet网络结构简要分析3. AlexNet的改进4. 结尾参考资料 在这一讲中，我们将详细讲解深度学习发展中的重要里程碑AlexNet。 1. AlexNet的历史 2012年Geoffrey Hintton的学生ALEX Krizhevsky构建了一个包含65万多个神经元，待估计参数超过6000万的大规模的卷积神经网络。他以自己的名字命名了这个神经网络叫作AlexNet，用以解决ImageNet数据集1000类的分类问题。在2012年，Im
alxnet 亮点在于dropout使神经元随机失活来防止过拟合
weixin_45902056的博客
03-28 160
import torch.nn as nn import torch from torchaudio import transforms from torchvision import transforms class AlexNet(nn.Module): def __init__(self, num_classes, init_weights=False): super(AlexNet, self).__init__() self.num_classes = .
深度卷积神经网络(AlexNet)——【torch学习笔记】
诗酒趁年华。
04-26 2838
AlexNet于2012年推出，以突破性的ImageNet分类论文130的第一作者Alex Krizhevsky命名。AlexNet采用了8层卷积神经网络，在2012年ImageNet大规模视觉识别挑战赛中以惊人的巨大优势获胜。这个网络首次证明了通过学习获得的特征可以超越人工设计的特征，从而打破了计算机视觉领域的原有模式。
手把手搭建经典神经网络系列（1）——AlexNet
black_sneak的博客
06-14 5842
手把手教你学习和搭建AlexNet网络实现图像识别，包含基于pytorch的源码。
深度卷积神经网络（AlexNet）与卷积神经网络（LeNet）的区别及其代码实现（可直接复制运行）
Jeven1398042963的博客
07-26 4793
LeNet在小批量样本的处理中表现尚可，但当样本过于复杂时处理起来结果不尽如人意。 AlexNet的出现与2012年，该模型对较大批量数据的处理表现不错，该模型与LeNet具有很高的相似性
我看AlexNet
MrGiovanni
08-10 5194
Reference. Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012. https:
AlexNet 阅读理解 - ImageNet Classification with Deep Convolutional Neural Networks
热门推荐
长风破浪会有时，直挂云帆济沧海
03-19 2万+
论文理解 - ImageNet Classification with Deep Convolutional Neural Networks [AlexNet - Paper] [原文地址] 关于 AlexNet 的介绍. 博主 Yuens 对论文和网络结构理解真心透彻，膜拜. 转载并非常感谢原博主 - Yuens’s Blog. 这篇文章是Alex Krizhevsk...
请画图并文字说明丢弃法？
05-25
需要注意的是，在测试阶段，我们不再使用丢弃法，而是使用所有的神经元进行前向传播。这是因为在测试阶段，我们需要得到一个确定的输出结果，而丢弃法会对每次测试的结果产生随机性。因此，在测试阶段，我们需要使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值