LeNet-5由LeCun等人提出于1998年提出,主要进行手写数字识别和英文字母识别
1.LeNet-5 网络结构
1.1 输入层
32*32的图片,也就是相当于1024个神经元
1.2 C1层(卷积层)
选用6个5×5的卷积核,步长为1,得到6个大小为28×28的特征图 (32-5+1=28),神经元的个数为6×28×28=4704
1.3 S2层(下采样层)
对C1所得6个28×28的特征图进行均值池化,池化核大小选择2×2, 步长为2,得到的均值乘上一个权重加上一个偏置作为Sigmoid激活函数的输入 , 得到6个14×14的特征图 , 神经元个数为 6×14×14=1176。
1.4 C3层(卷积层)
用16个5*5*n的卷积核对S2层输出的特征图进行卷积后,得到16个大小为10*10特征图,实际需要的参数个数为1516个
选用16个5×5卷积核(前6个卷积核组中的卷积核个数为3,中间6个为4,之后3个为4,最后1个为6)对S2层输出的特征图进行卷积, 加偏置和激活函数(Sigmoid)后得到16张10×10(14-5+1=10)新特征图。此时神经元个数为16×10×10=1600
1.5 S4层(下采样层)
对C3的16张10×10特征图进行最大池化,池化核大小为2×2,步长为2,得到的最大值乘以一个权重参数,再加上一个偏置参数作为激活函数(Sigmoid)的输入,得到16张5×5的特征图,神经元个数已经减少为16×5×5=400。
1.6 C5层(卷积层)
选用16个5×5的卷积核进行卷积,乘以一个权重参数并求和,再加 上一个偏置参数作为激活函数(Sigmoid)的输入,得到1×1(5- 5+1=1)的特征图。然后我们希望得到120个特征图,就要用总共120个5×5卷积核组(每个组16个卷积核)进行卷积,神经元减少为120个。
1.7 F6层(全连接层)
与C5层全连接,有84个神经元,对应于一个7×12的比特图。将输入乘以一个权重并求和,再加上一个偏置作为Sigmoid函数的输入, 得到84个值
1.8 输出层
与F6层全连接,共有10个神经元,分别代表数字0到9。输出层采用径向基函数(Radial Basis Function,RBF)的网络连接方式。RBF是一种常用的非线性函数,它的特点是以输入与某个中心之间的距离为基础,来计算输出。在输出层采用RBF连接方式的网络中,每个输出单元的激活函数通常是一个RBF,它的输入是来自前一层神经元的输出与该RBF的中心之间的距离。RBF的公式就可以体现出来:
RBF输出的值越接近于0, 表示当前网络输入的识别结果与字符i越接近
1.9 总结
卷积核大小、卷积核个数(特征图需要多少个)、池化核大小(采样率多少)这些参数都是变化的,这就是所谓的CNN调参,需要学会根据需要进行不同的选择
参考代码:
2.AlexNet
AlexNet由Hinton的学生Alex Krizhevsky于2012年提出;获得ImageNet LSVRC-2012(物体识别挑战赛)的冠军;通过AlexNet确定了CNN在计算机视觉领域的王者地位。
2.1 AlexNet相对于它之前其它模型的优势
①首次成功应用ReLU作为CNN的激活函数
②使用Dropout丢弃部分神元,避免了过拟合
③使用重叠MaxPooling(让池化层的步长小于池化核的大小), 一定程度上提升了特征的丰富性
④使用CUDA加速训练过程
⑤进行数据增强,原始图像大小为256×256的原始图像中重复截取224×224大小的区域,大幅增加了数据量,大大减轻了过拟合,提升了模型的泛化能力
⑥更深的结构:AlexNet比LeNet-5有更多的层和更多的参数。它引入了更多的卷积层和全连接层,使得网络可以学习更复杂的特征和表示。这种更深的结构有助于提高模型的表达能力,从而提高了性能。
⑦更大的卷积核: AlexNet使用了更大的卷积核尺寸(例如11x11和5x5),这使得网络可以捕获更大尺度的特征。相比之下,LeNet-5使用了较小的卷积核尺寸(例如5x5和3x3)。更大的卷积核有助于提取更全局的特征,有时可以更有效地捕获图像中的结构信息。
2.2 AlexNet网络结构
AlexNet可分为8层(池化层未单独算作一层),包括5个卷积层以及3个全连接层
2.2.1 输入层
AlexNet首先使用大小为224×224×3图像作为输入(后改为 227×227×3)
2.2.2 第一层(卷积层)
包含96个大小为11×11的卷积核,卷积步长为4,因此第一层输出大小为55×55×96((227-11)/4+1=55),分为两组,每组48个; 然后构建一个核大小为3×3、步长为2的最大池化层进行数据降采样,进而输出大小为27×27×96((55-3)/2+1=27),每组48个。
2.2.3 第二层(卷积层)
包含256个大小为5×5卷积核,卷积步长为1,同时利用padding保证输出尺寸不变,因此该层输出大小为27×27×256;然后再次通过 核大小为3×3、步长为2的最大池化层进行数据降采样,进而输出大小为13×13×256
2.2.4 第三层与第四层(卷积层)
均为卷积核大小为3×3、步长为1的卷积,共包含384个卷积核, 因此两层的输出大小为13×13×384
2.2.5 第五层(卷积层)
同样为卷积核大小为3×3、步长为1的卷积,但包含256个卷积核,进而输出大小为13×13×256;在数据进入全连接层之前再次通过一个核大小为3×3、步长为2的最大池化层进行数据降采样, 数据大小降为6×6×256,并将数据扁平化处理展开为9216个单元
2.2.6 第六层、第七层和第八层(全连接层)
第一个全连接层与第二个全连接层的神经元个数都是4096,第三个全连接层神经元个数为1000个,使用Softmax分类器输出1000类的分类结果,将近6千万个参数。