AlexNet
ImageNet Classification with Deep Convolutional Neural Networks
1、引入了Relu(x) = max(0,x)激活函数,并验证其效果在较深的网络超过了Sigmoid。
2、用最大池化代替了平均池化。
3、在全连接层加入了dropout,避免过拟合。
4、引入了局部响应归一化(LRN),对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元。
VGG
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
与Alexnet相比:
1、去掉了LRN层,作者发现深度网络中LRN的作用并不明显,干脆取消了。
2、采用更小的卷积核