经典模型梳理：AlexNet

最新推荐文章于 2023-02-16 09:47:27 发布
最新推荐文章于 2023-02-16 09:47:27 发布
阅读量797 收藏 1
点赞数 2
分类专栏： 经典CNN模型梳理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013982164/article/details/83448504
版权
本文主要梳理AlexNet网络结构，包括ReLU激活函数的优势，以及如何解决梯度消失问题。此外，讨论了在GPU上训练、局部响应归一化、重叠池化和防止过拟合的策略，如数据增强和Dropout。AlexNet的成功在于这些创新的结合。
摘要由CSDN通过智能技术生成

关于 Alex 的传说……大家随便听个报告都会讲到，这里就不说了。本文主要目的是为自己梳理知识，以便日后复习。

  • 网络结构
  • ReLU
  • Dropout
AlexNet

ImageNet Classification with Deep Convolutional Neural Networks
http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-network

前5层是卷积层，后3层是全连接层，
每层卷积层后接RuLU激活
前两层和最后一层卷积后有池化，具体如下图。

AlexNet
ReLU Nonlinearity
activation function

激活函数是从 Sigmoid 到 tanh 到 ReLU 的，最初用 Sigmoid 存在三个问题

  • Saturated neurons “kill” the gradients.

    • 当输入 x=0 时ÿ
最低0.47元/天 解锁文章
一条咸狗
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AlexNet 模型
07-21 1768
import torch import torch.nn as nn import torchvision import numpy as np import random import torch import torchvision m=torchvision.models.alexnet(pretrained=True) print(m) class AlexNet(nn.Module): def __init__(self): super(AlexNet,s.
大话CNN经典模型：AlexNet
雪饼的博客
03-12 1万+
—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5错误率为15.3%，第二名为26.2%），引起了很大的轰动...
AlexNet模型代码整理
beautiful77moon的博客
07-05 1148
1. 网络模型 （论文是用两块gpu并行训练的，所以图中的模型是上下两部分的，第一层卷积核的个数是48+48=96） 2. 模型参数 3. 模型代码 import torch.nn as nn import torch class AlexNet(nn.Module): def __init__(self, num_classes=1000, init_weights=False): super(AlexNet, self).__init__() .
AlexNet模型
奋斗才是年轻该有的状态
09-07 2996
一、AlexNet模型简介   上面对LeNet这个网络模型进行了介绍，该模型对手写数字是被具有较高的识别率，但是对于大数据量、复杂的物体图片分类，该模型的效果还是远远达不到要求的。在此背景下，AlexNet模型被提出，该模型在2012年imagenet上的图像分类challenge上赢得了的冠军。AlexNet模型证明了CNN在复杂模型下的有效性，并使用GPU使得大数据训练在可接受的时间范围内得
Alexnet网络模型介绍
热门推荐
南洲.的博客
09-11 1万+
1、概述       AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet。其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言，已...
CNN经典模型（一）AlexNet
weixin_41940752的博客
05-07 248
网络结构 from tensorflow.keras.layers import Input, Conv2D, \ BatchNormalization, MaxPool2D, Flatten, Dense, Dropout input = Input(shape=(224, 224, 3)) x = Conv2D(filters=96, kernel_siz...
Deep Learning_预训练CNN图片分类模型（AlexNet、VGG、GoogLeNet、Resnet.....）
夏大兔的学习笔记
08-22 8756
这段时间在做一个人脸验证的大作业，接触到了一些预训练模型（AlexNet、VGG、GoogLeNet、Resnet…..），今天看到了一个关于这些模型的比较好的回答，记录下来方面日后翻阅。作者：周博磊 链接：https://www.zhihu.com/question/43370067/answer/128881262 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明
大话文本识别经典模型：CRNN
雪饼的博客
06-14 7883
在前一篇文章中（详见本博客文章：大话文本检测经典模型 CTPN），介绍了文字识别在现实生活中的广泛应用，以及文字识别的简单流程： 其中“文本检测”、“文本识别”是其中两个关键环节，“文本检测”已经在前一篇文章中介绍了详细的介绍，本文主要介绍“文本识别”的经典模型CRNN及其原理。 在介绍CRNN之前，先来梳理一下要实现“文本识别”的模型，需要具备哪些要素： （1）首先是要读取输...
AlexNet 论文总结
01-06
AlexNet 论文总结一、论文翻译摘要（一）引言（二）数据集（三）架构1. ReLU非线性2. 多GPU训练3. 局部响应归一化（LRN）4. 重叠池化5. 整体架构（四）减少过拟合1. 数据增强2. Dropout（五）学习细节（六）结果1. ...
AlexNet_alexnet_Alexnet网络模型_
09-30
alexnet模型搭建，供初学者参考，本人小白，望有错指正
AlexNet网络模型
最新发布
lovecode2008的博客
02-16 625
2012年，Hinton的学生Alex Krizhevsky在《深度卷积神经网络的ImageNet分类》一文中提出了深度卷积神经网络模型AlexNet，是LeNet的一种更深更宽的版本。这是第一次将深度卷积神经网络 (CNN)、GPU 和巨大的互联网来源数据集（ImageNet）结合在一起。AlexNet首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。AlexNet包含了6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，其中3个卷积层后面连接了最大池化层，最后还有
AlexNet模型简介
Lee_queenie的博客
07-02 7920
2012年AlexNet在ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠，自此，深度学习和卷积神经网络一举成名，一直火到了今天。 模型组成 输入层 5个卷积层 3个全链接层 从上图还可以看到网络有两个分支，这是因为当时硬件条件有限，一块GPU显存不够，所以使用了两块GPU分别训练，在最后的全连接层进行特征融合得到最后的结果。 因为网络上比较流行上面这个图，但其实我个人更喜欢下面这个图，在逻辑和过程上更加清楚。 AlexNet 各层的详细描述 输入层： 输入大小为2
经典网络模型AlexNet
scl52tg的博客
11-03 462
模型分析前言：卷积计算公式模型图示（原论文）模型源码模型分析第一大层（卷积、激活、池化）第二大层（卷积、激活、池化）第三大层（卷积、激活）第四大层（卷积、激活）第五大层（卷积、激活）自适应平均池化拉直层第六大层（舍弃层、激活层、全连接层）第七大层（舍弃层、激活层、全连接层）第八大层（全连接层） 前言：卷积计算公式 在开始之前我先讲一下卷积层的计算公式； H1，W1: 输入图片的高和宽 F: 卷积核的尺寸 P: 填充的数量 K: 卷积核的个数 H2，W2，D2: 输出后求出来的高、宽、通道数 对于P图像的填
深度学习---AlexNet模型
qq_24503095的博客
12-23 698
2012年AlexNet横空出世，该模型使用了8层卷积神经网络，并以很大优势赢得了ImageNet2012图形识别挑战赛。首次证明了学习到的特征可以超越手工设计的特征。 与相对较小的LeNet相比，AlexNet包含8层交换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 第一层中的卷积窗口形状是11x11。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大1...
回归模型梳理
wzxsjdt的专栏
02-12 347
本文所述回归模型包括：线性回归、逻辑回归、softmax回归 一. 线性回归 二. 逻辑回归 三. softmax回归 深度学习的本质是，对输入数据深度提取特征，后接可进行梯度下降的分类器，主要是接逻辑回归或softmax回归。 ...
AlexNet （ImageNet模型）
10-15 1214
介绍 AlexNet是LeNet的一种更深更宽的版本。首次在CNN中应用ReLU、Dropout和LRN，GPU进行运算加速。 一共有13层，有8个需要训练参数的层（不包括池化层和LRN层），前5层是卷积层，后三层是全连接层。 最后一层是有1000个类输出的softmax层用作分类。 前言 截取224*224，实际上又扩充了一个边界，成为227*227，论文里面22...
经典模型——AlexNet
weixin_46365033的博客
06-23 866
为了识别更多的图像，我们需要一个有强大学习能力的模型。CNN是一个很好的选择。随着其深度和宽度的增加，其性能也有很大的提升。同时，相比于前馈神经网络，CNN有着更少的连接和参数。随着算力的提升，CNN有了用武之地，这也是为什么做CNN的原因。本文基于CNN设计了一个新的网络，包含5个卷积层和3个全连接层。同时，为了避免过拟合，用了一些特别的技术。直接裁剪256×256256\times 256256×256大小的图像，作为输入。里程碑：直接在raw image上进行训练。tanh和sigmoid存在梯度饱和
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值