CNN经典算法AlexNet介绍（论文详细解读）

本文是深度学习经典算法解读的一部分，原文发之：https://www.datalearner.com/blog/1051558603213207

来源论文：Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. “Imagenet classification with deep convolutional neural networks.” Advances in neural information processing systems. 2012.

2012年发表的AlexNet可以算是开启本轮深度学习浪潮的开山之作了。由于AlexNet在ImageNet LSVRC-2012（Large Scale Visual Recognition Competition）赢得第一名，并且错误率只有15.3%（第二名是26.2%），引起了巨大的反响。相比较之前的深度学习网络结构，AlexNet主要的变化在于激活函数采用了Relu、使用Dropout代替正则降低过拟合等。本篇博客将根据其论文，详细讲述AlexNet的网络结构及其特点。

AlexNet的论文中着重解释了Tanh激活函数和ReLu激活函数的不同特点，解释了多个GPU是如何加速训练网络的，也说明了防止过拟合的一些方法。都是值得学习的很好的内容。

一、背景介绍

在数据量不大的情况下，目前的算法已经能很好地处理识别任务。例如，在MINST的数字识别任务中，目前算法的错误率已经低于0.3%，接近人类的水平了。但是现实世界中的对象有很大的可变性，识别这些对象需要更大的训练数据。由于LabelMe、ImageNet的发展，目前已经有数以百万的标注图像可以使用。

很大的数据集导致训练异常困难。而卷积神经网络（Convolutional Neural Networks，CNN）可以通过改变其结构而控制其大小，并且CNN符合自然界的图像识别的规律导致了其非常