AlexNet、VGGNet学习笔记

模型对比

	AlexNet	VGGNet
成就	ILSVRC图像分类2012冠军、Top-5错误率16.42%	ILSVRC图像分类2014亚军、Top-5错误率7.32%
结构	9层：5个卷积层、3个全连接层	16层：13个卷积层、3个全连接层
参数	60.3M	138M
卷积核	卷积核的大小由第一层的11 * 11到5 * 5最后为3 * 3	所有卷积核都为3 * 3

AlexNet

网络结构

设计亮点

• RELU激活函数
  这篇文章中作者用ReLU函数f(x)=max(0,x)代替之前主要使用的f(x)=tanh(x)或f(x)=sigmoid(x) 下图是使用ReLU和tanh在训练集和测试集上的损失变化。可以看到不论是收敛速度还是准确度，都是ReLU函数更胜一筹。
  速度上更快的原因可以理解成为RELU函数的导数是固定的，不会出现梯度越来越小甚至消失；准确度更高的原因可以理解为RELU小于0的部分置0从而一部分神经元不工作，避免了过拟合。
  

• Drop Out
  ALe