AlexNet 学习笔记

一、介绍：

Alex在2012年提出的alexnet网络结构模型引爆了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。首次在CNN中应用了ReLu、Dropout层，其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%。

二、技术点：

• 多个GPU ：提高计算速度；
• AlexNet使用ReLU代替了Sigmoid：能更快的训练，同时解决sigmoid在训练较深的网络中出现的梯度消失（梯度弥散）的问题；
• 重叠的pool池化：不容易产生过拟合。AlexNet中使用最大池化层代替CNN中普遍使用平均池化层，避免了平均池化层的模糊化的效果。并且步长比池化的核的尺寸小，这样池化层的结果之间有重叠，提升了特征的丰富性；
• 局部响应归一化LRN：对局部神经元创建了竞争的机制，使得其中响应大的值变得更大，并抑制反馈较小的；
• 数据增益和0.5的Dropout：减少过拟合，使用数据增强、加Dropout层的方法缓解过拟合现象 。

三、相关技术内容：

1. 减少过度拟合方法

• 数据增强。通常会从现有数据中生成额外的数据。以下是AlexNet团队使用的一些技巧。
  a. 通过镜像实现数据增强。如果训练集中有一只猫的图像，那么它的镜像也是一只猫。训练数据