ImageNet Classification with deep convolutional neural networks

原创 2014年05月25日 19:38:35

分析paper:ImageNet Classification with deep convolutional neural networks 

主要是在imagenet上训练一个CNN网络。Caffe的初始化便是这个我网络设置。

因为想更清楚的了解Caffe里面的网络结构设置,所以来研究这篇paper。。。


基本网络构成:

60millon 个参数,650 thousand 个神经元,

包含5个卷积层,其中有几个层后跟着max-pooling层,

有3个全连接层 和 1000-way softmax.


用到的两个策略“:

为了加速,使用non-saturating neurons + GPU

为了减少全连接层中的overfitting,利用一种最近发现的规则化方法:dropout


数据库的说明:

Imagenet数据库中的图像大小是不一致的, 统一把图像变换为固定大小:256*256。减均值。

   (具体来说:统一把图像短的一边,规则化到256,然后剪切出256*256的中间patch)


网络架构及其策略:

8层(5个卷积层+3个全连接层)

ReLU Nonlinearity :   instead  with  

Training on Multiple GPUs

Local Response Normalization: (the sum over n kernel maps on the same spatial position.)


Overlapping pooling: (in general: summarize the outputs of neighboring groups of neurons in the same kernel map, in thispaper,overlapping pooling)


网络架构图如下:




网络架构解读(Fig.2):

网络总共有8层(每一层都带有weight); 

前五层是卷积层,后三层是全连接层。最后一个全连接层,输入到一个1000-way softmax,产生一个在1000类别上一个分布。

网络的目标:   最大化multinomial logostic regression objective,

                        等价于最大化the average across training cases of the log-probability of the correct label under theprediction distribution


第2 4 5 卷积层的kernels,只与位于同一块GPU上的前一层相连接。

第3个卷积层的kernels,与第2层上的所有的kernel maps相连接。

全连接层中的neurons,与前一层中的所有neurons相连接。

ReLU Nonlinearity :    应用在所有层。

第1 2层采用了response normalization策略。
第1 2 5 层采用了max-pooling策略。


第1层是作用在224*224*3的输入图像上,96个kernels(大小:11*11*3),步长:4 pixels
第2层是 256 kernels(大小:5*5*48)
第3 4 5层没有利用任何intervening的pooling或者normalization

第3层有384kernels(大小:3*3*256),其输入是第二层normalizated and pooled的输出。

第4层是384kernels (大小:3*3*192)

第5层是256 kernel (大小:3*3*192)

全连接层有4096个neurons。 


个人阅读的Deep Learning方向的paper整理

http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65 个人阅读的Deep Learning方向的paper整理,分了几部分吧...
  • sunmenggmail
  • sunmenggmail
  • 2014年03月10日 10:42
  • 19653

【论文笔记】人脸关键点检测_简略版_2016

20160331 1、Zhang Z, Luo P, Loy C C, et al. Learning deep representation for face alignment with aux...
  • shaoxiaohu1
  • shaoxiaohu1
  • 2016年03月31日 09:55
  • 4593

CVPR 2016 摘要阅读

为了说明看过CVPR2016全部文章的摘要,总结一下,摘要只保留了创新点部分。 ORAL SESSION Image Captioning and Question Answering Mond...
  • yutingzhaomeng
  • yutingzhaomeng
  • 2016年08月02日 15:57
  • 8439

NIPS2012-ImageNet Classification with Deep Convolutional Neural Networks

  • 2015年05月20日 22:42
  • 1.35MB
  • 下载

ImageNet classification with deep convolutional neural networks中文翻译

  • 2017年04月20日 11:11
  • 590KB
  • 下载

ImageNet Classification with Deep Convolutional Neural Networks简介

2012年AlexNet的提出可能是DL界的又一次跃进,有幸拜读,不敢说有所领悟,姑且记录所得,以便日后翻阅。...
  • weixin_36333294
  • weixin_36333294
  • 2017年03月03日 21:30
  • 122

ImageNet Classification with Deep Convolutional Neural Networks

1. 数据集ImageNet 数据特征:15 million张,22000类,分辨率高且多样 预处理:降采样到256×\times256固定分辨率,对矩形边框的图像,先让短边缩小到256,然后剪裁出中...
  • zhufenghao
  • zhufenghao
  • 2016年09月13日 15:38
  • 719

论文笔记《ImageNet Classification with Deep Convolutional Neural Networks》

论文 architecture 简称就是AlexNet。 论文的关键点: 1、采用ReLU激活函数; 2、使用non-saturating neurons; ...
  • u011399028
  • u011399028
  • 2016年10月05日 23:17
  • 165

ImageNet Classification with Deep Convolutional Neural Networks

AlexNet翻译
  • lijunweiyhn
  • lijunweiyhn
  • 2016年06月25日 17:27
  • 578

ImageNet Classification with Deep Convolutional Neural Networks

1       数据预处理 原始图片→缩小成短边(shorter side)长度为256的图片→从图像中心分割出256*256的图片。 2 训练技巧 (1)  神经元的激活函数用Rectifie...
  • wallyell
  • wallyell
  • 2015年10月12日 00:02
  • 581
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ImageNet Classification with deep convolutional neural networks
举报原因:
原因补充:

(最多只允许输入30个字)