1. AlexNet 论文总结

最新推荐文章于 2023-10-05 17:34:33 发布
最新推荐文章于 2023-10-05 17:34:33 发布
阅读量322 收藏 1
点赞数
分类专栏： 论文总结 文章标签： ImageNet Classification with Deep C TOP-5 TOP-1 ImageNet Classification AlexNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42270275/article/details/84331288
版权

1.网络结构：

imput
Conv1 - ReLU - Maxpooling  - RNL
Conv2 - ReLU - Maxpooling  - RNL
Conv3 - ReLU
Conv4 - ReLU
Conv5 - ReLU - Maxpooling 
 fc6  - ReLU - dropout
 fc7  - ReLU - dropout
 fc8 (100-way-softmax )

2.加速训练：

（1）不饱和神经元 ( Relu ) 解决了梯度消失的问题
（2）2个GPU

3.防止过拟合

  • Data Augmentation（数据增强)
    （1） image transalation and horizontai reflections 训练样本之间内部依赖性强
    （2）通过改变训练图像RGB通道强度来增加样本数量。 通过PCA主成分分析，成倍增加已有主成分。

  • Dropout （随机丢掉训练中的一些节点）
    测试时所有神经元都参与运算，最后乘0.5后输出（平衡效果）

  • LRN（归一化，提高泛化能力） 该方法已淘汰

4.数据

在这里插入图片描述

5.补充

----池化：
（1）AlexNet之前都使用平均池化，但本文使用最大池化，避免平均池化的模糊效果
（2）典型的池化过程是不重叠的, 但本文是重叠的，保留了更多的原信息，提升特征丰富性
（3）训练模型用了随机梯度下降法和minibatch相结合

6.发现（重点启发）

（1） 神经网络的 深度 is important
（2） weight decay 对 模型学习 很重要

红薯塔就是爱太阳啊
关注
专栏目录
《ImageNet Classification with Deep Convolutional Neural Networks》论文导读
谷哥的小弟
09-16 1575
《ImageNet Classification with Deep Convolutional Neural Networks》是一篇在深度学习领域具有重要影响力的论文，由Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton等人撰写。该论文主要介绍了利用深度卷积神经网络（Deep Convolutional Neural Networks，简称CNNs）在ImageNet数据集上进行图像分类的研究，并取得了显著的效果。
AlexNet论文总结
zlz的代码异次元
08-18 568
1.Relu激活函数的使用 使用ReLU激活函数，要比使用常用的的费线性激活函数如sigmoid，tanh等函数，网络的训练速度要快上好几倍。 ReLU函数为什么可以提高训练速度？ 一下内容借鉴了Physcal博客ReLU激活函数 传统sigmoid函数的特点（logistic-sigmoid。tanh-sigmoid） 从图上看，非线性的sigmoid的函数对中央区的信号增益较...
AlexNet 论文总结
01-06
AlexNet 论文总结一、论文翻译摘要（一）引言（二）数据集（三）架构1. ReLU非线性2. 多GPU训练3. 局部响应归一化（LRN）4. 重叠池化5. 整体架构（四）减少过拟合1. 数据增强2. Dropout（五）学习细节（六）结果1. 定性评估（七）探讨二、论文笔记（一）网络架构梳理1. 卷积层 1（conv1）2. 卷积层 2（conv2）3. 卷积层 3（conv3）4. 卷积层 4（conv4）5. 卷积层 5（conv5）6. 全连接层 1（fc1）7. 全连接层 2（fc2）8. 全连接层 3（fc3）（二）局部响应归一化（LRN）1. 为什么要引入LRN层？2. LRN
AlexNet 总结
黄飞的博客专栏
05-23 3023
本文是对《ImageNet Classification with Deep Convolutional Neural Networks》的论文解读和总结。该论文发表于 NIPS2012，作者 Alex Krizhevsky 属于神经网络之父 Hinton 组，自2012年发表至今，已有1.3万的引用，实属经典。AlexNet 在 ISVRC2012(ImageNet Large Scale Vi...
【分类】AlexNet论文总结
急流勇进
10-12 183
目录 0. 论文链接 1. 概述 2. 对数据集的处理 3. 网络模型 3.1 ReLU Nonlinearity 3.2 Training on multiple GPUs 3.3 Local Response Normalization...
AlexNet论文
qq_38897423的博客
12-03 213
Response Normalization用于1，2层，Maxpooling层用于1，2，5，Relu用于所有层 1、作者使用ReLu，大大加快了训练速度，数倍于saturating neurons，如tanh,sigmoid 2、使用Local Response Normalization 3、使用Overlapping Pooling stride=3,size=2 防止过拟合： ...
图像识别-AlexNet论文总结
算法之美
11-26 1068
AlexNet论文学习总结，这篇文章可以算是深度学习真正意义上的的开山之作。发表以来，已经累计获得了6184次引用，并被广泛认为是业内最具深远影响的一篇文章。
AlexNet论文(ImageNet Classification with Deep Convolutional Neural Networks)(译)
热门推荐
hongbin_xu的博客
05-10 10万+
前言 最近一直比较忙，总算才有时间看点深度学习的论文。这篇论文是大神Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton三人提出的AlexNet深度卷积神经网络，摘得了2010年ILSVRC比赛的桂冠。AlexNet在现在也经常会用到，可以说是很经典的一个CNN框架了。出于学习的目的，一方面可以做笔记，一方面也可以督促自己的学习，我才打算翻译下这...
AlexNet 论文解读 - ImageNet Classification with Deep Convolutional Neural Networks
最新发布
m0_65305142的博客
10-05 287
提出的AlexNet基于卷积神经网络，限定了层数，提出激活函数ReLUReLUReLU和局部反应归一化方法LRNLRNLRN，使用数据处理、DropoutDropoutDropout等方法应对过拟合。
AlexNet论文阅读
mathor的博客
09-28 1094
论文下载 这篇论文的背景作者在参加2010年的ILSVRC比赛，取得了冠军 摘要主要介绍了其神经网络的结构——5个卷积层（每个卷积层(convolutional layersconvolutional\ layersconvolutional layers)后面都跟有池化层(max−pooling layersmax-pooling\ layersmax−pooli...
AlexNet论文解读——ImageNet Classification with Deep Convolutional
hhhyixin的博客
09-25 1077
此文章为bilibili up主梗直哥AlexNet论文精读视频的笔记。
经典论文AlexNet
weixin_42382758的博客
09-28 638
经典论文
Alexnet论文介绍（超详细）——ImageNet Classification with Deep Convolutional Neural Networks
qq_45843546的博客
04-22 1万+
Alexnet论文介绍（超详细）——ImageNet Classification with Deep Convolutional Neural Networks
AlexNet 论文笔记
黑暗星球
05-09 862
AlexNet_v1：ImageNet Classification with Deep Convolutional Neural Networks AlexNet在2012年的ILVSRC上获得了第一名。相比第二名，它的准确率提高了超过了10%。 AlexNet的创新点： 1.数据增强。 对图像进行了随机裁剪，水平翻转。数据增强使得数据增加了(256-224)x(256-224)x...
AlexNet论文笔记
charles_zhang_的博客
03-27 3079
AlexNet论文笔记 算法概述 AlexNet网络可以被称为卷积神经网络的“开山之作”，精度和参数量相对后面的模型不是很优秀，但是卷积神经网络之所以可以迅速崛起，AlexNet起着至关重要的作用。 深度卷积卷积神经网络 卷积层，卷积过程： 池化层，下采样过程： 减少feature map大小，减少计算量 1998年，LeCun提出的LeNet-5，可以实现数字的分类 ReLU激活函数 ReLU函数的优点： 模型并行 使用两个GPU进行模型训练，卷积层全部使用两路G
深度学习里程碑：AlexNet论文详解与过拟合防治
AlexNet论文笔记总结深入探讨了ImageNet Large Scale Visual Recognition Challenge (LSVRC-2010)中的图像分类问题，目标是通过构建深层卷积神经网络（CNN）来提升在1000类图像分类任务上的性能。文章的关键创新点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值