(AlexNet) ImageNet Classification with Deep Convolutional Neural Networks

ImageNet Classification with Deep Convolutional Neural Networks (AlexNet)
https://blog.csdn.net/hit2015spring/article/details/53649183

网络有8层结构——5层卷积层和三层全连接层，最后一个全连接层的输出被送到一个1000-way的softmax层，其产生一个覆盖1000类标签的分布。我们的网络使得多分类的Logistic回归目标最大化，这相当于最大化了预测分布下训练样本中正确标签的对数概率平均值。

图2：CNN体系结构示意图，明确显示了两个GPU之间的职责划分。一个GPU运行图中顶部的层次部分，而另一个GPU运行图中底部的层次部分。GPU之间仅在某些层互相通信。该网络的输入是150,528维的，且该网络剩下各层的神经元数分别为253,440–186,624–64,896–64,896–43,264–4096–4096–1000。
第二、第四和第五个卷积层的核只连接到前一个卷积层也位于同一GPU中的那些核映射上（见图2）。第三个卷积层的核被连接到第二个卷积层中的所有核映射上。全连接层中的神经元被连接到前一层中所有的神经元上。响应归一化层跟在第一、第二个卷积层后面。3.4节中描述的那种最大Pooling层，跟在响应归一化层以及第五个卷积层之后。ReLU非线性应用于每个卷积层及全连接层的输出。
第一个卷积层利用96个大小为11×11×3、步长为4个像素（这是同一核映射中邻近神经元的感受野中心之间的距离）的核，来对大小为224×224×3的输入图像进行滤波。第二个卷积层需要将第一个卷积层的（响应归一化及池化的）输出作为自己的输入，且利用256个大小为5×5×48的核对其进行滤波。第三、第四和第五个卷积层彼此相连，没有任何介于中间的pooling层与归一化层。第三个卷积层有384个大小为3×3×256的核被连接到第二个卷积层的（归一化的、池化的）输出。第四个卷积层拥有384个大小为3×3×192的核，第五个卷积层拥有256个大小为3×3×192的核。全连接层都各有4096个神经元。
3. 结构有如下个特点：
（1）使用非饱和神经元ReLU和多个GPU来加速训练。
（2）重叠Pooling：
Overlapping Pooling，通过控制步长和size的关系使pooling的窗口有交叠，可以达到提高精度的效果，同时减少过拟合。
设置步长小于size的边长z，来达到重叠的目的, 这样做池化层的输出之间会有重叠和覆盖，这样保留了更多的位置信息(先验知识)，同时也提升了特征的丰富性，有助于模型提高泛化能力。
（3）网络太大，需要减少过拟合的方法：
a.数据增强：随机抓取224x224的小块，以及它的水平翻转 、改变训练图像中的RGB通道的强度，随机裁剪Random Crops, 这样做网络能学习到了更加鲁棒性的特征，它能适应不同亮度，不同颜色，甚至不同位置的识别，提高了模型的泛化能力
b.正则化方法: Dropout：以0.5的概率将每个隐层神经元的输出设置为零
Drpout层：不同的神经元组合被关闭，这代表了一种不同的结构，所有这些不同的结构使用一个的子数据集并行地带权重训练，而权重总和为1。如果Dropout层有 n 个神经元，那么会形成 2^{n} 个不同的子结构。在预测时，相当于集成这些模型并取均值。这种结构化的模型正则化技术有利于避免过拟合。Dropout有效的另外一个视点是：由于神经元是随机选择的，所以可以减少神经元之间的相互依赖，从而确保提取出相互独立的重要特征, 因为神经元无法依赖于其他特定的神经元而存在，因为隐层中任何一个神经元都可能会以0.5的概率被丢弃；因此这会迫使网络学习更为健壮、鲁棒的特征。
c.正则化Relu（ReLU非线性激活函数）
(1)速度快 和sigmoid函数需要计算指数和倒数相比，relu函数其实就是一个max(0,x)，计算代价小很多。
(2)减轻梯度消失问题，从而可以训练更深的网络。
(3)没有梯度损失，所以是非饱和神经元，可以加速收敛速度。
(4)稀疏性 通过对大脑的研究发现，大脑在工作的时候只有大约5%的神经元是激活的，而采用sigmoid激活函数的人工神经网络，其激活率大约是50%。有论文声称人工神经网络在15%-30%的激活率时是比较理想的。因为relu函数在输入小于0时是完全不激活的，因此可以获得一个更低的激活率.
d.局部响应归一化LRN: 局部响应归一化，在输出的通道维做归一化，为神经元的活动创造了竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力，达到了一种“侧抑制”的效果s/