一周学习第一天之了解神经网络

第一课：GoogleNet笔记

CNN发展历程

1.LeNet:卷积神经网络的现代雏形

可以看到共分成了七层，卷积、池化交替出现，最后输出三个全连接，得到整体效果。
LeNet的特征是卷积层和下采样层相结合，作为网络的基本结构；
缺点：网络层数浅，无激活层。

2.AlexNet

2012年ImageNet竞赛取得了冠军，第一次引入ReLu激活层，在全连接层引入了Dropout，防止过拟合。
两个GPU并行做运算。

3.VGGNet

是第一个真正意义上的深层网络结构，使用了更小的滤波器，更深的网络结构。
VGGNet与AlexNet的比较：
1）网络层数：AlexNet有8层，VGGNet有16~19层，网络的深度直接影响一个模型的表现。
2）滤波器：AlexNet使用1