AlexNet解析

这一波的深度学习浪潮源自2012年ImageNet比赛冠军所用的深度卷积神经网络(AlexNet)，这篇文章就来解读一下这个网络。

2012年，Alex Krizhevsky及其同学Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计了一个深层的卷积神经网络，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5 error rate 15.3%，第二名为26.2%），这在学术界引起了很大的轰动，大家争先恐后地研究深度神经网络，带来了深度学习的大爆发。之后的ImageNet冠军都是用CNN来做的，并且层次越来越深。

他们发表的论文为：ImageNet Classification with Deep Convolutional Neural Networks

论文网址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

名词解释

ILSVRC：ImageNet Large Scale Visual Recognition Competition

Activation function：神经元的激活函数

ReLU：全称是Rectified Linear Unit，是一个很简单的函数，即f(x) = max(0, x)

Hyper-parameters：超参数