第三章 卷积神经网络-2（LeNet-5 & AlexNet）

LeNet-5由LeCun等人提出于1998年提出，主要进行手写数字识别和英文字母识别

1.LeNet-5 网络结构

1.1 输入层

32*32的图片，也就是相当于1024个神经元

1.2 C1层（卷积层）

选用6个5×5的卷积核，步长为1，得到6个大小为28×28的特征图 （32-5+1=28），神经元的个数为6×28×28=4704

1.3 S2层（下采样层）

对C1所得6个28×28的特征图进行均值池化，池化核大小选择2×2， 步长为2，得到的均值乘上一个权重加上一个偏置作为Sigmoid激活函数的输入 ， 得到6个14×14的特征图 ， 神经元个数为 6×14×14=1176。

1.4 C3层（卷积层）

用16个5*5*n的卷积核对S2层输出的特征图进行卷积后，得到16个大小为10*10特征图，实际需要的参数个数为1516个

选用16个5×5卷积核（前6个卷积核组中的卷积核个数为3，中间6个为4，之后3个为4，最后1个为6）对S2层输出的特征图进行卷积， 加偏置和激活函数(Sigmoid)后得到16张10×10（14-5+1=10）新特征图。此时神经元个数为16×10×10=1600

1.5 S4层（下采样层）

对C3的16张10×10特征图进行最大池化，池化核大小为2×2，步长为2，得到的最大值乘以一个权重参数，再加上一个偏置参数作为激活函数（Sigmoid）的输入，得到16张5×5的特征图，神经元个数已经减少为16×5×5=400。

1.6 C5层（卷积层）

选用16个5×5的卷积核进行卷积，乘以一个权重参数并求和，再加 上一个偏置参数作为激活函数（Sigmoid）的输入，得到1×1（5- 5+1=1）的特征图。然后我们希望得到120个特征图，就要用总共120个5×5卷积核组（每个组16个卷积核）进行卷积，神经元减少为120个。

1.7 F6层（全连接层）

与C5层全连接，有84个神经元，对应于一个7×12的比特图。将输入乘以一个权重并求和，再加上一个偏置作为Sigmoid函数的输入， 得到84个值

1.8 输出层

与F6层全连接，共有10个神经元，分别代表数字0到9。输出层采用径向基函数（Radial Basis Function，RBF）的网络连接方式。RBF是一种常用的非线性函数，它的特点是以输入与某个中心之间的距离为基础，来计算输出。在输出层采用RBF连接方式的网络中，每个输出单元的激活函数通常是一个RBF，它的输入是来自前一层神经元的输出与该RBF的中心之间的距离。RBF的公式就可以体现出来：

RBF输出的值越接近于0， 表示当前网络输入的识别结果与字符i越接近

1.9 总结

卷积核大小、卷积核个数（特征图需要多少个）、池化核大小（采样率多少）这些参数都是变化的，这就是所谓的CNN调参，需要学会根据需要进行不同的选择

参考代码：

2.AlexNet

AlexNet由Hinton的学生Alex Krizhevsky于2012年提出；获得ImageNet LSVRC-2012(物体识别挑战赛)的冠军；通过AlexNet确定了CNN在计算机视觉领域的王者地位。

2.1 AlexNet相对于它之前其它模型的优势

①首次成功应用ReLU作为CNN的激活函数

②使用Dropout丢弃部分神元，避免了过拟合

③使用重叠MaxPooling(让池化层的步长小于池化核的大小)， 一定程度上提升了特征的丰富性

④使用CUDA加速训练过程

⑤进行数据增强，原始图像大小为256×256的原始图像中重复截取224×224大小的区域，大幅增加了数据量，大大减轻了过拟合，提升了模型的泛化能力

⑥更深的结构：AlexNet比LeNet-5有更多的层和更多的参数。它引入了更多的卷积层和全连接层，使得网络可以学习更复杂的特征和表示。这种更深的结构有助于提高模型的表达能力，从而提高了性能。

⑦更大的卷积核： AlexNet使用了更大的卷积核尺寸（例如11x11和5x5），这使得网络可以捕获更大尺度的特征。相比之下，LeNet-5使用了较小的卷积核尺寸（例如5x5和3x3）。更大的卷积核有助于提取更全局的特征，有时可以更有效地捕获图像中的结构信息。

2.2 AlexNet网络结构

AlexNet可分为8层（池化层未单独算作一层），包括5个卷积层以及3个全连接层

2.2.1 输入层

AlexNet首先使用大小为224×224×3图像作为输入(后改为 227×227×3)

2.2.2 第一层（卷积层）

包含96个大小为11×11的卷积核，卷积步长为4，因此第一层输出大小为55×55×96（（227-11）/4+1=55），分为两组，每组48个； 然后构建一个核大小为3×3、步长为2的最大池化层进行数据降采样，进而输出大小为27×27×96(（55-3）/2+1=27)，每组48个。

2.2.3 第二层（卷积层）

包含256个大小为5×5卷积核，卷积步长为1，同时利用padding保证输出尺寸不变，因此该层输出大小为27×27×256；然后再次通过 核大小为3×3、步长为2的最大池化层进行数据降采样，进而输出大小为13×13×256

2.2.4 第三层与第四层（卷积层）

均为卷积核大小为3×3、步长为1的卷积，共包含384个卷积核， 因此两层的输出大小为13×13×384

2.2.5 第五层（卷积层）

同样为卷积核大小为3×3、步长为1的卷积，但包含256个卷积核，进而输出大小为13×13×256；在数据进入全连接层之前再次通过一个核大小为3×3、步长为2的最大池化层进行数据降采样， 数据大小降为6×6×256，并将数据扁平化处理展开为9216个单元

2.2.6 第六层、第七层和第八层（全连接层）

第一个全连接层与第二个全连接层的神经元个数都是4096，第三个全连接层神经元个数为1000个，使用Softmax分类器输出1000类的分类结果，将近6千万个参数。

2.3 参考代码