深度学习论文随记（一）---AlexNet模型解读

最新推荐文章于 2024-08-18 11:12:27 发布
最新推荐文章于 2024-08-18 11:12:27 发布
阅读量5.1k 收藏 25
点赞数 2
分类专栏： 深度学习论文 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/teeyohuang/article/details/75069166
版权

作者：teeyohuang
邮箱：teeyohuang@163.com
本文系原创，供交流学习使用，转载请注明出处，谢谢

深度学习论文随记（一）---AlexNet模型解读

ImageNet  classification with deep convolutional neural networks

Author： A  Krizhevsky， I  Sutskever ， GE Hinton

Year：2012

 

1、导引

其实这篇论文按道理讲，并不是第一个把卷积神经网络应用到深度学习中的工作，往前其实有个LeNet，是深度学习三驾马车之一的Yann Lecun在1998年就设计出来了。

但是一般深度学习入门要看的第一篇论文，还是会推荐这篇，我个人认为，这篇论文的意义在于，它是使得Deep Learning这种机器学习的方法征服计算机视觉领域的开山之作。

 

2012年，深度学习三驾马车中的另一位 Geoffrey Hinton为了证明自己的研究工作是有用的，他和他的学生Alex Krizhevsky 在ILSVRC竞赛中出手，刷新了classification的记录，一战封神！！！所以，这篇文章所述的网络结构也就被称为AlexNet。至此之后，无数的学者投入到Deep Learning的研究中去。

 

2、AlexNet模型解读

这张图片本来上半部分就没有，论文中就是给的这个图。

然后之所以用的上下两半一样的结构，是因为他们当时用的GPU计算力有限，所以用了两块GPU：GTX 580。现在都是2017年了，你笔记本上的GPU估计都是GTX970了，所以下面讲的时候就当作是只用的一个GPU来分析。

 

AlexNet共有八层，有60M以上的参数量。

前五层为卷积层：c

最低0.47元/天 解锁文章
Teeyohuang
关注
专栏目录
论文必备：深度学习中的网络结构是怎么画的
weixin_43960370的博客
03-16 2359
这个工具可以非常方便的画出各种类型的图，是下面这位小哥哥开发的，来自于麻省理工学院弗兰克尔生物工程实验室, 该实验室开发可视化和机器学习工具用于分析生物数据。可以绘制的图包括以节点形式展示的FCNN style，这个特别适合传统的全连接神经网络的绘制。以平铺网络结构展示的LeNet style，用二维的方式，适合查看每一层featuremap的大小和通道数目。以三维block形式展现的AlexNet style，可以更加真实地展示卷积过程中高维数据的尺度的变化，目前只支持卷积层和全连接层。
AlexNet 论文笔记
黑暗星球
05-09 846
AlexNet_v1：ImageNet Classification with Deep Convolutional Neural Networks AlexNet在2012年的ILVSRC上获得了第一名。相比第二名，它的准确率提高了超过了10%。 AlexNet的创新点： 1.数据增强。 对图像进行了随机裁剪，水平翻转。数据增强使得数据增加了(256-224)x(256-224)x...
跟着问题学5——AlexNet网络详解及代码实战
最新发布
weixin_42251091的博客
08-18 1693
每一层的权重初始化为均值1标准差0.01的正态分布，在第2,4,5卷积层和全连接层中的bias初始化为常数1，其余层则为0.所有层采用了相同的初始化为0.01的学习率，不过可以手动调整。测试时使用所有的神经元，但将它们的输出乘以0.5。简单举例来说，池化核大小3 × 3， 扩充边缘padding = 0，步长stride = 2，因此其FeatureMap输出大小为(13-3+0×2+2)/2=6, 即C5输出为6×6×256（此处未将输出分到两个GPU中，若按照论文将分成两组，每组为6×6×128）；
AlexNet模型解读
qq_34725005的博客
02-21 734
AlexNet上的一个完整的卷积层可能包括一层convolution、一层Rectified Linear Units、一层max-pooling、一层normalization。整个网络结构包括五层卷积层和三层全连接层，网络的最前端是图片的原始像素点，最后端是图片的分类结果。 1.第一层：卷积层 其中conv1说明输出为96层，使用的卷积核大小为[11,11]，步进为4。在此之后变为[55,5...
【分类】AlexNet论文总结
急流勇进
10-12 172
目录 0. 论文链接 1. 概述 2. 对数据集的处理 3. 网络模型 3.1 ReLU Nonlinearity 3.2 Training on multiple GPUs 3.3 Local Response Normalization...
AlexNet论文
qq_38897423的博客
12-03 199
Response Normalization用于1，2层，Maxpooling层用于1，2，5，Relu用于所有层 1、作者使用ReLu，大大加快了训练速度，数倍于saturating neurons，如tanh,sigmoid 2、使用Local Response Normalization 3、使用Overlapping Pooling stride=3,size=2 防止过拟合： ...
AlexNet模型详细分析
qq_43811879的博客
11-12 6634
Alex在2012年提出的alexnet网络结构模型引爆了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。 上面这种图就是AlexNet的网络结构 改网络的亮点在于： （1）首次使用了GPU进行网络加速训练。 （2）使用了ReLU激活函数，而不是传统的Sigmoid激活函数以及Tanh激活函数。 （3）使用了LRN局部响应归一化。 （4）在全连接层的前两层中使用了Droupout随机失活神经元操作，以减少过拟合。 对于AlexNet有5层卷积层，三个全连
深度学习论文随记（二）---VGGNet模型解读-2014年（Very Deep Convolutional Networks for Large-Scale Image Recognition）
朝花&夕拾
07-17 1万+
深度学习论文随记（二）---VGGNet模型解读 Very Deep Convolutional Networks forLarge-Scale Image Recognition Author: K Simonyan ， A Zisserman Year: 2014   1、  导引 VGGNet是2014年ILSVRC竞赛的第二名，没错你没听错它是第二名，第一名是GoogLeN
深度学习论文随记（四）ResNet 残差网络-2015年Deep Residual Learning for Image Recognition
朝花&夕拾
07-21 2829
深度学习论文随记（四）ResNet 残差网络 DeepResidual Learning for Image Recognition Author：Kaiming He,  XiangyuZhang,  Shaoqing Ren,  Jian Sun,  Microsoft Research Year:2015 1、导引 之前文章谈到GoogLeNet和VGG，人们
随记---
qq_39835768的博客
10-24 579
docker中各个容器创建 docker创建mysql8并挂载到外部 1.拉取mysql8 docker pull mysql:8.0.18 2.创建挂载目录 mkdir /mydata/mysql/conf mkdir /mydata/mysql/log mkdir /mydata/mysql/data 3.创建mysql8的my.cnf配置文件 [mysqld] pid-file = /var/run/mysqld/mysqld.pid socket ..
AlexNet 论文总结
01-06
AlexNet 论文总结一、论文翻译摘要（一）引言（二）数据集（三）架构1. ReLU非线性2. 多GPU训练3. 局部响应归一化（LRN）4. 重叠池化5. 整体架构（四）减少过拟合1. 数据增强2. Dropout（五）学习细节（六）结果1. 定性评估（七）探讨二、论文笔记（一）网络架构梳理1. 卷积层 1（conv1）2. 卷积层 2（conv2）3. 卷积层 3（conv3）4. 卷积层 4（conv4）5. 卷积层 5（conv5）6. 全连接层 1（fc1）7. 全连接层 2（fc2）8. 全连接层 3（fc3）（二）局部响应归一化（LRN）1. 为什么要引入LRN层？2. LRN
【随记】-学习计划
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
11-18 816
1、简介 很多东西自己平时没注意总结和梳理，导致最后自己全部从头再看，再总结，就很费时间，打算之后将阅读的论文全部做个笔记，拿csdn平台来监督自己！ 2、工作计划 肯定要给自己列个大纲，打算每篇论文都按照下面的list来做总结 motivation contribution framework dataset table+figure 另外读到不错的句子和词汇也要做总结（留意他人的逻辑） 实验描述好句 公式描述好句 词汇 还有最重要的，相关会议论文录用后，他们做的报告也要多看，多学习
AlexNet论文(ImageNet Classification with Deep Convolutional Neural Networks)(译)
热门推荐
hongbin_xu的博客
05-10 9万+
前言 最近一直比较忙，总算才有时间看点深度学习的论文。这篇论文是大神Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton三人提出的AlexNet深度卷积神经网络，摘得了2010年ILSVRC比赛的桂冠。AlexNet在现在也经常会用到，可以说是很经典的一个CNN框架了。出于学习的目的，一方面可以做笔记，一方面也可以督促自己的学习，我才打算翻译下这...
AlexNet 论文解读 - ImageNet Classification with Deep Convolutional Neural Networks
m0_65305142的博客
10-05 258
提出的AlexNet基于卷积神经网络，限定了层数，提出激活函数ReLUReLUReLU和局部反应归一化方法LRNLRNLRN，使用数据处理、DropoutDropoutDropout等方法应对过拟合。
AlexNet论文阅读
mathor的博客
09-28 1087
论文下载 这篇论文的背景作者在参加2010年的ILSVRC比赛，取得了冠军 摘要主要介绍了其神经网络的结构——5个卷积层（每个卷积层(convolutional layersconvolutional\ layersconvolutional layers)后面都跟有池化层(max−pooling layersmax-pooling\ layersmax−pooli...
AlexNet论文解读——ImageNet Classification with Deep Convolutional
hhhyixin的博客
09-25 1059
此文章为bilibili up主梗直哥AlexNet论文精读视频的笔记。
经典论文AlexNet
weixin_42382758的博客
09-28 623
经典论文
Alexnet论文介绍（超详细）——ImageNet Classification with Deep Convolutional Neural Networks
qq_45843546的博客
04-22 1万+
Alexnet论文介绍（超详细）——ImageNet Classification with Deep Convolutional Neural Networks
C++随记：内存管理、内联函数与默认参数详解
在"C++随记"文档中，记录了几个关键的C++知识点，对于学习者来说具有较高的参考价值。首先，关于内存管理，提到了`new`和`delete`以及`new[]`和`delete[]`操作符的重要性，强调了在C++中正确使用这些运算符以避免...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值