TensorFlow 实现 AlexNet

TensorFlow 实现 AlexNet

TensorFlow 实现 AlexNet

AlexNet 主要使用到的新技术点如下。
(I成功使用 ReLU作为CNN的激活函数 ，并验证其效果在较深的网络超过了Sigmoid ，成功解决了 Sigmoid 在网络较深时的梯度弥散问题。虽然ReLU 激活函数在很久之前就被提出了 ，但是直到 AlexNet 的出现才将其发扬光大 。
( 2 ） 训练时使用 Dropout 随机忽略一部分神经元 ，以避免模型过拟合。Dropout 虽有 单独的论文论述，但是AlexNet 将其实用化 ，通过实践证实了它 的效果。在AlexNet 中主 要是最后几个全连接层使用了Dropout 。
( 3 ） 在 C附中使用重叠的最大池化。此前 CNN 中普遍使用平均池化 ，AlexNet 全部 使用最大池化 ，避免平均池化的模糊化效果 。并且 AlexNet 中提出让步长比池化核的尺寸 小，这样地化层的输出之间会有重叠和覆盖，提升了特征的丰富性。
( 4 )提出了LRN 层 ，对局部神经元的活动创建竞争机制 ，使得其中响应比较大的值 变得相对更大 ，并抑制其他反馈较小的神经元 ，增强了模型的泛化能力。
( 5 ） 数据增强 ，随机地从 256x256 的原始图像中截取 224×224 大小的区域 （ 以及水 平翻转的镜像 ），相当于增加了（256-224)2x2=2048 倍的数据量。如果没有数据增强 ，仅靠 原始的数据量，参数众多的 CNN 会陷入过拟合中 ，使用了数据增强后可以大大减轻过拟 合，提升泛化能力。进行预测时，则是取图片的四个角加中间共 5 个位置 ，并进行左右翻 转