一、 经典的卷积网络
- LeNet-5
- AlexNet
- VGG
- ResNet
- Inception
1.1 LeNet-5(Lecun)
6000 个参数
Gradient-based learning applied to document recognition(1998)
1.2 AlexNet (Hinton)
6000万个参数
ImageNet classification with deep convolutional neural networks(2012)
1.3 VGG-16
1.38亿个参数
Very deep convolutional networks for large-scale image recongnition(2015)
1.4 VGG-19
二、残差网络(ResNet)
应用残差网络可以训练更深的神经网络
short-cut
Deep residual networks for image recognition(2015)
plain network :从经验来看,随着你增加网络层数,训练误差会呈现出一开始趋于降低,然后再上升的趋势。理论上将随着网络层数的增加视乎训练误差应该逐渐下降
残差网络:随着网络层数的增加训练误差会逐渐下降
三、残差网络为什么有用
四、网络中的网络
1*1
Network in Network