这一波的深度学习浪潮源自2012年ImageNet比赛冠军所用的深度卷积神经网络(AlexNet),这篇文章就来解读一下这个网络。
2012年,Alex Krizhevsky及其同学Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计了一个深层的卷积神经网络,夺得了2012年ImageNet LSVRC的冠军,且准确率远超第二名(top5 error rate 15.3%,第二名为26.2%),这在学术界引起了很大的轰动,大家争先恐后地研究深度神经网络,带来了深度学习的大爆发。之后的ImageNet冠军都是用CNN来做的,并且层次越来越深。
他们发表的论文为:ImageNet Classification with Deep Convolutional Neural Networks
名词解释
ILSVRC:ImageNet Large Scale Visual Recognition Competition
Activation function:神经元的激活函数
ReLU:全称是Rectified Linear Unit,是一个很简单的函数,即f(x) = max(0, x)
Hyper-parameters:超参数