ImageNet Classification with Deep Convolutional Neural Networks 阅读笔记

于 2022-10-04 19:38:12 发布
阅读量845 收藏
点赞数
分类专栏： 图像处理 深度学习 文章标签： 深度学习 cnn 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43627076/article/details/127154142
版权

ImageNet Classification with Deep Convolutional Neural Networks 阅读笔记

前言

近期读了一下这篇论文，读的有点模糊，记录下现在的理解，以后再来看看，再修改修改

数据集

因为LSVRC-2010是ILSVRC的唯一一个有测试集标签的版本，因此在这个实验中大多使用该版本。

将图像缩放到256*256

先选一个较短边，缩放到256，再取中心部分，正好整出256*256

结构

网络结构

总共八个层，五个卷积层，三个全连接层，如下图所示

在这里插入图片描述

激活函数

使用Relu激活函数

相比于sigmoid和tanh，Relu梯度下降训练时间更短，训练时间也短。

如下图，所示，实线是Relu函数，虚线是tanh函数

在这里插入图片描述

可见，relu激活函数效率要快很多

两个GPU

当前的GPU特别适合跨GPU并行化，因为它们能够直接读取和写入彼此的内存，而无需经过主机内存。

两个GPU分别进行计算，且只在部分层上有交换数据

规范化

一般来说，Relu函数不需要规范化来防止饱和，但是这里还是进行了规范化了，确实可以获得一个更好的结果。

文中提到的规范化方式现在已经几乎不使用了

在这里插入图片描述
以上公式我的理解如下

a是激活函数的值，n是选择的相邻卷积核数

即b（x，y）就是

a（x，y）/（其他n个通道相同x，y的激活值平方的和*α+k）的β方

这里的k是保证分子不为0

经过测试之后

使用k=2，n=5，α=10的-4次方，β=0.75

重叠池化

一般来说池化通常不会重叠，但alexnet中使用的就是重叠的池化

这里提到了，s和z

s代指stride，步伐

z指的是池化窗口的大小，即是z*z

当s<z时，即完成了重叠池化

整体结构

这里再提一下整个网络的结构

网络包含八层

前五层时卷积层，后三层时全连接层

最后一路的全连接层的输出被送到1000个分类的softmax分类器

在这里插入图片描述

再把这张图拿出来下

这里可以看到，第二层，第四层和第五层卷积层，都只与同GPU的前一层的相连，而第三层则与第二层的所有结果相连

全连接层的所有层则与所有的神经元相连

上文提到的规范化，仅仅使用在在第一个卷积层和第二个卷积层

在进行规范化之后会再进行最大池化，第五层虽没有规范化，但也会进行最大池化

该网络中的每一层都会使用Relu激活函数，

我个人觉得，激活函数应该是再池化之前，规范化之后，论文中没有注意到关于这个详细的顺序，所以只是猜测

减少过拟合

数据增强

这里提到了两种数据增强的方式，两种增强都不需要进行大量的运算，因此我们不需要提前将这些图片处理好存储到硬盘上。

并且这里直接用CPU进行数据增强，而使用GPU进行训练，这就使得我们更不需要提前处理数据

图像平移和水平翻转

在训练时，会在原图像以及水平翻转的图像（256*256）中随机提取出大小为（224*224）的图像，这就使得训练图像变成原来的2048倍

猜测计算公式(256-224)*(256-224)*2

虽然这样获取的图像都是高度依赖的，但是如果没有以上操作，会出现过拟合，从而迫使使用更小的神经网络

当测试时，则会在图像的四个角和中心提取总共五个224*224大小的图像，翻转的图像同样如此，这样总计有十个图像

修改RGB

这里使用PCA来对RGB的值进行修改

对于RGB的每个值，我们都会加上以下值
在这里插入图片描述

pi是3*3像素值的协方差矩阵的第i个特征向量，lamda则是对应的特征值，α是随机值。

这里没有 很理解

Dropout

引用原文的话，为什么提出这个方法呢，因为许多不同模型的预测结合起来是减少测试误差的一种非常成功的方法，但对于已经需要几天时间来训练的大型神经网络来说，这种方法似乎过于昂贵。

而使用Dropout仅仅需要两倍的时间就可以有多个模型

文章将每一层消失的神经元的概率设置为0.5，消失的神经元不参与正向传播
也不参与反向传播

神经元的减少，使得每一个神经元都被迫学习更健壮的特征，这些神经元学习的特征与其他随机子集的神经元学习的特征在结合在一起时，是有效的。

但是为了一个合理的值，会将这些神经元的输出乘以0.5

训练细节

随机梯度下降

这里采用的是随机梯度下降

为什么要采用这种方式呢，而不是用我们之前一直在使用的批量梯度下降

因为此时我们训练的图片并不是几千张，几万张，这时如果还是用批量梯度下降，就会使时间过长

随机梯度下降的好处就在这里，每次训练时，仅仅随机抽取部分的样本，在本文中的样本量为128，随

机抽取的样本数量也称为batch size，也就是b（不是偏移量）。

在这里插入图片描述

观察上图公式，你会发现，和我们之前了解的梯度下降公式不同，这里怎么会还有一个v呢，

先别急，我们先来聊一聊

批量梯度下降是会慢慢下降，从而达到我们的期望

但是随机梯度下降不会，因为随机梯度下降采用的是小样本，这就导致了梯度下降的方向不一定是我们批量梯度下降的方向

这时候v就起到了作用，由公式可以看出，vi+1包含了上一个vi的值，也就是说，每一次的梯度下降，

不只与当前的梯度方向有关，同时与上一步的梯度有关

这样往往可以得到更好的效果

论文中总共进行90个周期

参数设置

从标准偏差为0.01的零均值高斯分布中初始化了每个层中的权重。也就是w

第二，第四层和第五层卷积层以及全连接层的偏差都是1，其他层的偏差都设置为0

每个层的学习率都是相同的，但损失不再继续改善时，会将学习率除以10，学习率初试的值是0.01

结果

这里就不描述了，有兴趣的可以看一下

可以自己找一下论文看一下，如果找不到的话，可以私信我，或则公众号私聊也可以

小王不头秃
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ImageNet Classification with Deep Convolutional Neural Networks阅读笔记
星空下的仰望者
11-24 3663
今后准备以阅读笔记的形式来整理自己看过的一些文献，今天就写第一篇吧，不过我也并不能保证所写的一定是正确的，都是个人理解，如有不对之处还请不吝赐教。这一篇也算的上是CNN的成名之作，自从这篇文章之后，CNN就火了起来。这篇文章的第三位作者就是深度学习的鼻祖Hinton老先生。 这篇文章主要分为七个部分，其中引言和结果我就不叙述了，主要介绍一下其中的一些处理的技巧。 这篇文章主要使用了以下技巧：
AlexNet论文学习笔记：ImageNet Classification with Deep Convolutional Neural Networks
weixin_45540876的博客
12-24 455
AlexNet论文学习笔记：ImageNet Classification with Deep Convolutional Neural Networks 文章目录AlexNet论文学习笔记：ImageNet Classification with Deep Convolutional Neural Networks前言一、研究背景二、结构三、网络结构四、训练技巧五、实验结果分析总结 前言 最近复习了经典论文AlexNet，想和大家分享我的学习心得。话不多说，现在开始！！ 关键词：图像分类、纯监督学习
ImageNet Classification with Deep Convolutional Neural Networks（阅读）
深藏功与名
09-08 1万+
相信大家都看过CNN的网络框架，我就先从这篇文章框架说起，下面是Alexnet的网络结构： 这个流程图的制作参考：http://blog.csdn.net/sunbaigui/article/details/39938097 1. conv1阶段DFD（data flow diagram）： 2. conv2阶段DFD（data flow diagram）： 3. conv
AlexNet学习笔记－ImageNet Classification with Deep Convolutional Neural Networks
时空间隙
08-06 1万+
我们来看看《ImageNet Classification with Deep Convolutional Neural Networks》这篇文章在讲什么。首先论文发表惯例性引言，接着介绍他的实验数据集，主要是用ImageNet的ILSVRC比赛的样本，后面会稍微详细的介绍这部分的处理，然后是两个比较精彩的篇章，分别是网络架构(The Architecture)和减少过拟合的处理方法(Reducing Overfi
ImageNet Classification With Deep Convolutional Neural Networks阅读笔记
han_hhh的博客
05-12 363
ImageNet Classification With Deep Convolutional Neural Networks阅读笔记ImageNet Classification With Deep Convolutional Neural NetworksSummaryProblem StatementResearch ObjectiveMethods预处理架构架构的特点整体架构减少过拟合其他细节Evaluationerror ratesQualitative evaluationsConclusion
deep-learning-note:深度学习笔记
04-27
deep learning note Parameter Initialization: 结合了，感谢作者魏秀参（Xiu-Shen WEI） ...Convolutional Neural Networks for Sentence Classification 文本分类的卷积神经网络结构： 1、输入层为预训练的词向量层
Deep-learning-with-Python:使用Python的深度学习代码和项目
05-02
使用Python进行深度学习（） 各种深度学习（DL）代码示例，教程风格的Jupyter笔记本和项目的集合。 相当多的Jupyter笔记本基于构建，并且可能采用Google Colab独有的特殊功能（例如，使用标准Linux命令上传数据或...
cnn-text-classification：在Yelp，IMDB和句子极性数据集v1.0上使用卷积神经网络进行文本分类
02-03
卷积神经网络（CNN）的文本分类这是一个使用CNN对文本文档/句子进行分类的项目。 您可以在和的博客条目中找到类似方法的精彩介绍。 我的方法与Denny和Yoon Kim的原始论文[1]相似。 您也可以在找到Yoon Kim的实现。...
semantic_segmentation_satellite_image:该存储库包含用于Landsat 8图像的语义地质分割的所有代码和数据
05-13
语义分段卫星图像 基本信息： ... image_classification.ipynb：图像处理和模型构建 shape_files：要素（河流，高架区域，河道，低地）的形状文件 代码和库 这个专案需要Python 3以上版本。 我已经
pba：高效学习增强策略时间表
02-06
基于人口的增强（PBA） 新增：使用笔记本pba.ipynb可视化PBA和应用的增强pba.ipynb ！ 现在有了Python 3支持。 目录 介绍 基于人口的增强（PBA）是一种算法，可以快速有效地学习用于神经网络训练的数据增强功能。...
【深度学习经典论文翻译1】AlexNet-ImageNet Classification with Deep Convolutional Neural Networks全文翻译
热门推荐
可多的Academic笔记本
03-10 3万+
本文是经典深度学习论文ALEX NET的全文翻译，论文原文和中英对照翻译欢迎点击：http://pan.baidu.com/s/1NpEG2 下载
Deep Learning 读书笔记（五）：ImageNet Classification with Deep Convolutional Neural Networks
tuqinag的专栏
10-14 8333
捡起好久没有写的博客了
《imagenet classification with deep convolutional neural networks》阅读笔记
polaris_c的博客
12-29 790
《imagenet classification with deep convolutional neural networks》是学习CNN必读的一片论文。原文地址：深度学习论文资料 这篇笔记是对论文中的亮点部分进行提炼解析，而非全文翻译。
ImageNet classification with deep convolutional neural networks阅读笔记
rcl1245804161的博客
04-28 267
ImageNet classification with deep convolutional neural networks阅读笔记 作者：Alex Krizhevsky 所以该论文的模型也叫AlexNet NIPS顶会文章 Abstract （1）提出了一个深度卷积网络，在ImageNet LSVRC2010，top1和top5错误分别是37.5%、17.0%，远远好于之前的表现。 （2）神经...
论文笔记 - 《ImageNet Classification with Deep Convolutional Neural Networks》 精典
Tom的专栏
06-25 2725
基于卷积神经网络的图像分类（经典网络） 作者：Alex Krizhevsky（论文中第一作者的名字为网络名字AlexNet） 单位：加拿大多伦多大学 发表会议时间：NIPS2012 （NIPS：机器学习领域的顶级会议，属于人工智能的A类会议，很受CV界的学者关注） Conference and Workshop on Neural Information Processing Sys...
AlexNet-ImageNet Classification with Deep Convolutional Neural Networks 笔记
weixin_43944218的博客
10-28 268
AlexNet-ImageNet Classification with Deep Convolutional Neural Networks 基于深度卷积神经网络的图像网络分类 目录 摘要 1.引言 2.数据集 3.架构 3.1ReLU Nonlinearity （非线性） 3.2在多个图形处理器(GPU)上训练 3.3局部响应标准化 3.4重叠池 3.5整体架构分析 4Reducing Overfitting减少过拟合 4.1数据增强 4.2Dropout（丢失） ...
ImageNet Classification with Deep Convolutional Neural Networks 学习笔记
路&客的博客
09-04 237
ImageNet Classification with Deep Convolutional Neural Networks 学习笔记 Deep Convolutional Neural Network 深度卷积神经网络(DCNN); Abstract 概要 convolutional adj. 卷积的；回旋的；脑回的; high-resolution 高分辨率; state-of-the-art 最先进的; parameter 参数; neurons 神经元; layer 层; max-poolin
ImageNet Classification with Deep Convolutional Neural Networks【论文笔记】
Bryce-HJ
07-27 444
Contents1 简介2 数据集3 网络结构3.1 ReLU非线性激活函数3.2 在多GPUs上训练3.3 局部响应归一化3.4 重叠池化3.5 整体框架4 减少过拟合4.1 图像增广4.2 Dropout5 训练中的超参数设置 1 简介       本论文出自2012年，在当时带标签数据集是很少的（e.g. NoRB, Caltech-101/256, CIFAR10/100），这些数据集仅有几万张图片组成，在数据增广基础上，利用这些数据集可以很好地处理简单的物体识别任务，但是现实中物体展现出很强的可变
ImageNet Classification with Deep Convolutional Neural Networks论文笔记
bailufeiyan的博客
01-24 1038
这篇文章非常经典，NIPS 2012的文章，讲了一些基础知识，介绍了Alex-net网络，使用深度神经网络在ImageNet上进行分类。Abstract本文训练了一个深度卷积神经网络，将ILSVRC-2010中1.2million的高分辨率图像数据分为1000类。测试结果，Top-1和Top-5的错误率分别为37.5%和17%，优于当时最优的水平。
imagenet classification with deep convolutional neural networks
最新发布
03-17
ImageNet分类是使用深度卷积神经网络（CNN）的一种方法。这种方法通过训练CNN来识别图像中的对象和场景，并将其分类到一组预定义的标签中。这种方法在计算机视觉领域中非常流行，并且在ImageNet大赛中取得了很好的成绩。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小王不头秃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值