AI编程-AlexNet模型

学习目标：

AlexNet模型的基础概念和模型

学习内容：

数据集：ImageNet (1000类，大小469*387 ，样本数1.2M)
1.AlexNet拿到了2012年ImageNet的冠军。
2.AlexNet是相当于更大更深的LeNet，主要改进有
（1）丢弃法-模型空间
（2）ReLu-梯度更大
（3）MaxPooling-最大池化

标题AlexNet与LeNet的区别

AlexNet与LeNet的区别：
第一：模型构造不同

AlexNet与LeNet（指较小的卷积神经网络）在构造上有不同，AlexNet网络包含8层，其中包括5层卷积和2层全连接隐藏层，以及1个全连接输出层，其中

第一卷积层使用的 Kernel为1111, 后接33 步幅为2的 池化层；

第二卷积层使用的 Kernel为55，后接33 步幅为2的池化层；

第三卷积层使用的 Kernel为3*3，直接与第四层相连；

第四卷积层使用的 Kernel为3*3，直接与第五层相连；

第五卷积层使用的 Kernel为33，后接33 步幅为2的池化层；

接下来，卷积部分结束后，其后紧跟两个输出均为4096的全连接隐藏层，最后为1个全连接输出层。

其结构图如下图所示：

第二：激活函数的改变

传统的LeNet网络使用的是sigmoid激活函数，而AlexNet使用的是ReLU函数。

ReLU函数比sigmoid函数计算上更为简单（不用求幂运算），且ReLU函数在不同的参数初始化方法下可以让模型更容易训练。

第三：AlexNet使用丢弃法来控制全连接层的模型复杂程度

丢弃法是深度模型中常用来应对过拟合问题的方法之一，其具体操作核心就是随机的丢弃某些层中（一般是中间层）的某些神经元，以此来降低后一层在计算中对上一层（随机丢弃的层）的过度依赖，起到正则化的作用（所谓正则化是指：在学习中降低模型复杂度和不稳定程度，是为了避免过拟合），但要注意的是丢弃法只在训练模型时使用。下图为使用了丢弃法的由两层全连接层构成的二层网络的结构，该网络中隐藏层的神经元随机丢失。

第四：AlexNet中引入了图像增广

AlexNet中引入了图像增广，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。所谓的图像增广指的是：该技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模；其另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力（样本数据的适应能力）。
参考：https://blog.csdn.net/Jeven1398042963/article/details/119045089

总结

1.AlexNet是更大更深的LeNet，10X参数个数，260x计算复杂度。
2.新进入了丢弃法、RelU、最大池化层和数据增强。
3.赢得了2012年的ImageNet竞赛后，标志着新一轮神经网络的热潮开始