ImageNet Classification with deep convolutional neural networks

原创 2014年05月25日 19:38:35

分析paper:ImageNet Classification with deep convolutional neural networks 

主要是在imagenet上训练一个CNN网络。Caffe的初始化便是这个我网络设置。

因为想更清楚的了解Caffe里面的网络结构设置,所以来研究这篇paper。。。


基本网络构成:

60millon 个参数,650 thousand 个神经元,

包含5个卷积层,其中有几个层后跟着max-pooling层,

有3个全连接层 和 1000-way softmax.


用到的两个策略“:

为了加速,使用non-saturating neurons + GPU

为了减少全连接层中的overfitting,利用一种最近发现的规则化方法:dropout


数据库的说明:

Imagenet数据库中的图像大小是不一致的, 统一把图像变换为固定大小:256*256。减均值。

   (具体来说:统一把图像短的一边,规则化到256,然后剪切出256*256的中间patch)


网络架构及其策略:

8层(5个卷积层+3个全连接层)

ReLU Nonlinearity :   instead  with  

Training on Multiple GPUs

Local Response Normalization: (the sum over n kernel maps on the same spatial position.)


Overlapping pooling: (in general: summarize the outputs of neighboring groups of neurons in the same kernel map, in thispaper,overlapping pooling)


网络架构图如下:




网络架构解读(Fig.2):

网络总共有8层(每一层都带有weight); 

前五层是卷积层,后三层是全连接层。最后一个全连接层,输入到一个1000-way softmax,产生一个在1000类别上一个分布。

网络的目标:   最大化multinomial logostic regression objective,

                        等价于最大化the average across training cases of the log-probability of the correct label under theprediction distribution


第2 4 5 卷积层的kernels,只与位于同一块GPU上的前一层相连接。

第3个卷积层的kernels,与第2层上的所有的kernel maps相连接。

全连接层中的neurons,与前一层中的所有neurons相连接。

ReLU Nonlinearity :    应用在所有层。

第1 2层采用了response normalization策略。
第1 2 5 层采用了max-pooling策略。


第1层是作用在224*224*3的输入图像上,96个kernels(大小:11*11*3),步长:4 pixels
第2层是 256 kernels(大小:5*5*48)
第3 4 5层没有利用任何intervening的pooling或者normalization

第3层有384kernels(大小:3*3*256),其输入是第二层normalizated and pooled的输出。

第4层是384kernels (大小:3*3*192)

第5层是256 kernel (大小:3*3*192)

全连接层有4096个neurons。 


相关文章推荐

深度学习研究理解4:ImageNet Classification with Deep Convolutional Neural Network

本文是Alex和Hinton参加ILSVRC2012比赛的卷积网络论文,本网络结构也是开启Imagenet数据集更大,更深CNN的开山之作,本文对CNN的一些改进成为以后CNN网络通用的结构;在一些报...

Deep Learning 读书笔记(五):ImageNet Classification with Deep Convolutional Neural Networks

捡起好久没有写的博客了
  • tuqinag
  • tuqinag
  • 2014年10月14日 15:13
  • 5104

ImageNet Classification with Deep Convolutional Neural Networks阅读笔记

今后准备以阅读笔记的形式来整理自己看过的一些文献,今天就写第一篇吧,不过我也并不能保证所写的一定是正确的,都是个人理解,如有不对之处还请不吝赐教。这一篇也算的上是CNN的成名之作,自从这篇文章之后,C...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

ImageNet Classification with Deep Convolutional Neural Networks(译文)

ImageNet Classification with Deep Convolutional Neural Networks Alex Krizhevsky, Ilya Sutskever, Geo...

AlexNet学习笔记1-ImageNet Classification with Deep Convolutional Neural Networks

我们来看看《ImageNet Classification with Deep Convolutional Neural Networks》这篇文章在讲什么。首先论文发表惯例性引言,接着介绍他的实验数...
  • sun_28
  • sun_28
  • 2016年08月06日 10:02
  • 5056

ImageNet Classification with Deep Convolutional Neural Networks AlexNet阅读笔记

论文原文:ImageNet Classification with Deep Convolutional Neural Networks 网络模型名字:AlexNet 1、简介     2012年...
  • XZZPPP
  • XZZPPP
  • 2016年08月02日 10:06
  • 1552

alexnet笔记(ImageNet Classification with Deep Convolutional Neural Networks)

笔记一定要在看过paper的基础上再学习,切记!!! 我建议paper看至少两遍吧,我都是这样做的,每一遍都有不同的收获~之前学习这篇paper的时候在有道云笔记里就做了笔记,不想再写一遍啦,直接附...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ImageNet Classification with deep convolutional neural networks
举报原因:
原因补充:

(最多只允许输入30个字)