深度学习图像分类（一）——AlexNet论文理解

0. 写作目的

好记性不如烂笔头。

1. 论文理解

1.1 ReLU 激活函数的使用

Rectified Linear Units(ReLU)

使用ReLU比使用tanh（或者sigmoid）激活函数收敛速度更快。下图来自AlexNet论文中给出的在CIFAR-10上的测试效果。可以看出ReLU收敛速度更快。

1.2 多GPU训练

只在特殊层进行GPU数据之间的交流。

例如：第3卷积层的Feature map全部来自于第2卷积层(即来自不同GPU)，但第4卷积层的Feature map只来自同一GPU的feature map. 

相比只使用一个GPU进行训练，多个GPU信息交互，可以提高精度： 1.7%(top-1)。

1.3 Local Response Normalization (LRN)

文章说： LRN可以增加 泛化能力。

由于后继的分类网络说，LRN效果并不是很好，所以后继的网络都未加入该层。因此这里简单介绍一下。

LRN即对于一个feature map（N个channel）的其中一个channel，将该层前后各n个channel对应位置的数值，然后进行归一化。具体可以看下面的公式：

其中， (x, y)是channel中的位置， i是第i个channel，n 是相邻的“前后”n 个channel数，N是该feature map总的channel数目（即边界channel的处理），实验中k = 2, n = 5, aerfa = 1e-4, belta = 0.75。参数是通过交叉验证得到的。

LRN的使用位置：使用在特征层的ReLU激活函数后。

文中给出的性能提升：LRN可以看做是一种“亮度的正则化（brightness normaliztion）”。因为作者并没有减去均值。