imagenet

工作找完了。。开始看论文了。。

papar: ImageNet Classification with Deep Convolutional Neural Networks 12年的一篇文章

总体结构：

一共有8层，5卷积3全连接。

一些结构上的细节：

3.1 ReLU Nonlinearity.

ReLU的引入是为了解决梯度消失问题，同时抑制了overfitting。因为作者用的训练集为imagenet，数据量还是很大的。同时还发现，ReLU能加速训练。

3.2 Training on Multiple GPUs

一个GPU不够，用了两个并行的GPUs。

错误率分别降低1.7%和1.2%。

其实可以看到，不同的GPU，学习到的是不同的特征。

3.3 Local Response Normalization

其中参数的值交叉验证得到。

错误率分别降低1.2%与1.4%。

3.4 Overlapping Pooling

s=2，z=3.错误率降低0.4%。

实验发现，overlapping pooling更不容易过拟合。

4. 抑制过拟合

4.1 Data Augmentation

a. 原图256*256随机取224*224。一张图可以取2048个。

b. altering the intensities of the RGB channels in training images。

4.2 Dropout

训练的时候，每个神经元有0.5的概率输出为0，这样便没有办法往后与往前传。

测试的时候，we use all the neurons but multiply their outputs by 0.5

（本结构中，全连接的第一和第二层用了dropout）

5. Details of learning

随机梯度下降（SGD），with a batch size of 128 examples.

初始化权值 均值为0，标准差为0.01的高斯分布。

6. Results

参考：

1. ImageNet Classification with deep convolutional neural networks 这篇博文中对结构有更详尽的叙述。

2. 论文笔记 《ImageNet Classification with Deep Convolutional Neural Networks》 细节叙述

第一次写论文博客。。先就这样吧。。