Imagenet classification with deep convolutional neural networks

alexnet:2012,共包含8层(不算input层)，其中前5层是cnn，后面3层是全连接的网络。它有60M以上的参数总量。虚线是分开的或者交叉的，说明之后的map是由前面独立或者联合得到的。LRN层，做的事是对当前层的输出结果做平滑处理。

data augmentation：

对训练数据进行左右对称以及平移变换，将训练数据增加为原来的2048倍；对像素进行PCA变换构造新样本（此机制使得top5错误率降低%1）；

数据增强操作对于样本数量不足以及训练过程中出现的loss不收敛的确是一个策略吧，同样在不同的文章里面看到有人只对训练样本进行增强而并没有测试的图片进行增强，当然也有人两者兼进行增强操作。数据增强的操作不限于以上提到的，在其他的地方也有很多简单的方法进行增强。

论文链接：

http://books.nips.cc/papers/files/nips25/NIPS2012_0534.pdf

源码地址：

http://code.google.com/p/cuda-convnet/