第四周作业：卷积神经网络

一 .Alexnet

AlexNet和LeNet的设计理念非常相似，但也存在显著差异。 首先，AlexNet比相对较小的LeNet5要深得多。 AlexNet由八层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。 其次，AlexNet使用ReLU而不是sigmoid作为其激活函数。

总结:

1.AlexNet的结构与LeNet相似，但使用了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。

2.今天，AlexNet已经被更有效的结构所超越，但它是从浅层网络到深层网络的关键一步。

3.Dropout、ReLU和预处理是提升计算机视觉任务性能的其他关键步骤。

二.VGG

经典卷积神经网络的基本组成部分是下面的这个序列： 1. 带填充以保持分辨率的卷积层； 1. 非线性激活函数，如ReLU； 1. 汇聚层，如最大汇聚层。

而一个 VGG 块与之类似，由一系列卷积层组成，后面再加上用于空间下采样的最大汇聚层。在最初的 VGG 论文 [Simonyan & Zisserman, 2014] 中，作者使用了带有 3×33×3 卷积核、填充为 1（保持高度和宽度）的卷积层，和带有 2×22×2 池化窗口、步