论文地址:ImageNet Classification with Deep Convolutional Neural Networkspapers.nips.cc
笔者读论文的学习笔记,本人水平有限,如有错误,请指出。
码字不易,如果您觉得写得不错,请点个赞,谢谢。
1、设备:两块GTX 580 3GB GPUs(并行,可互相读写)(作者经过实验发现:在单GPU上训练AlexNet近似一半的网络结构速度比双GPU训练整个网络慢)
2、数据集:ILSVRC-2010和ILSVRC-2012(ImageNet的子集,AlexNet是ILSVRC-2012冠军所用的模型),模型的指标有TOP-1 和TOP-5 error;数据预处理:由于图片不是所有尺寸都一样,先rescale到短边256,然后裁剪出中间一块256 x 256,之后对所有图片减均值(这里用的应该是下图中的image mean),除此之外没有预处理操作了不同的均值度量
3、开创性地使用了不饱和非线性单元:ReLU(Rectified Linear Units),训练速度提升很多(注意这里还提到了
这个函数,但不能提升训练速度,只能防止过拟合)
4、作者采用了Local Response Normalization,LRN,局部响应归一化ÿ