神经网络与深度学习-第三次总结

1、基本卷积神经网络

1.1 AlexNet

1.1.1 网络结构

AlexNet网络一共有8层可学习层——5层卷积和3层全连接，随网络的深入，通道宽、高衰减，通道数增加。

相比较LeNet网络，AlexNet网络具有以下优点：

• 池化层均采用最大池化
• 选用ReLu函数作为非线性环节激活函数
• 网络规模扩大
• 出现多个卷积层+一个池化层的结构 

1.1.2 网络改进

(1) 改进输入样本

(2)改进激活函数

(3)增加Dropout层

(4)双GPU策略

1.2 VGG-16

 

1.3 残差网络

2、常用数据集

2.1 MNIST

2.2 CIFAR-10数据集

CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。

2.3 PASCAL VOC数据集

2.4 MS COCO数据集