LeNet
- 这是最早用于数字识别的CNN,标志着CNN的真正面世
- 7层(1Input+3Cov+1FC+1Output
AlexNet
- 网络增大(5Cov+3maxpool+1Softmax
- Data Augmentation:水平翻转、随机裁剪、平移变换、颜色、光照变换;
- Dropout
- ReLU
- LRN归一化层的使用
- 带动量的随机梯度下降
- 百万级ImageNet图像数据,GPU实现
VGGNet
- 训练时间长,网络权重规模太大(VGG16 (553MB,VGG19(575MB
- 规整的网络结构:对于同一输出特征图尺寸,这些网络层有相同的filters,特征图的尺寸减半,特征图的filters翻倍。
- 引入了3*3 filter和maxpooling/2
- 网络输入224*224(input_size>=48*48
Inception V1
- NIN(Network in Network)中引入了1*1 filter,用于降维
- 增加了网络的宽度和深度
- 同时使用了1*1,3*3,5*5的卷积,增加了网络