神经网络与深度学习其二

1.全连接网络问题

全连接网络：链接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题。

解决算的慢问题：减少权值连接，每一个节点只连到上一层的少数神经元，即局部连接网络。

2.卷积神经网络基础

2.1进化史

2.2基本概念

（1）图像卷积：是一种基本的图像处理操作，用于在图像上应用滤波器或核以实现各种图像处理任务，例如模糊、边缘检测、锐化等。卷积操作通过将图像中的每个像素与滤波器核进行加权相乘，并将结果进行累加以生成输出图像。

如图所示，注意，图像卷积时，根据定义，需要首先把卷积核上下左右转置。此处卷积核（黄色）是对称的，所以忽视。

（2）填充：就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

（3）步长：内核在输入数据上移动的幅度参数。

（4）多通道卷积：可以表示为逐通道进行的卷积运算。具体而言，对于输出图像的每个通道，都会将输入图像中的对应通道与卷积核中的对应通道进行卷积运算，然后将结果进行相加得到输出图像中的像素值。常见于对RGB图片的特征提取。

（5）池化：池化是深度学习中常用的一种降采样技术，用于减少特征图的尺寸，并且在一定程度上减少参数数量。使用局部统计特征，如均值或最大值。解决特征过多问题。通常会指定池化窗口的大小（例如2x2或3x3），然后对输入特征图的每个窗口区域进行池化操作，得到一个输出值。

（6）卷积神经网络结构

构成：由多个卷积层和下采样层构成，后面可连接全连接网络。

卷积层：𝑘个滤波器。

下采样层：采用mean或max。

后面：连着全连接网络。

（7）学习算法

前向传播定义为：

此处忽视卷积核的上下左右转置，因为不影响最终结果。

如果第𝑙层是卷积+池化层，则

3. LeNet-5网络

3.1 网络介绍

3.2 结构详解——C1层

⚫由6个Feature map构成

⚫每个神经元对输入进行5*5卷积

⚫每个神经元对应5*5+1个参数，共6个feature map，28*28个神经元，因此共有(5*5+1)*6*(28*28)=122,304连接。

3.2 结构详解——S2层

3.2 结构详解——C3层

3.2 结构详解——S4层

与S2层工作相同。

3.2 结构详解——C5层

⚫120个神经元。

⚫每个神经元同样对输入进行5*5卷积，与S4全连接。

⚫总连接数(5*5*16+1)*120=48120。

3.2 结构详解——F6层

⚫ 84个神经元。

⚫ 与C5全连接。

⚫ 总连接数(120+1)*84=10164。

3.2 结构详解——输出层

⚫ 由欧式径向基函数单元构成。

⚫ 每类一个单元。

⚫ 输出RBF单元计算输入向量和参数向量之间的欧式距离。

3.2 网络结构详解

4. 基本卷积神经网络AlexNet

4.1 基本结构

➢ 网络一共有8层可学习层——5层卷积层和3层全连接层

➢ 改进：池化层均采用最大池化；选用ReLU作为非线性环节激活函数；网络规模大，参数数量接近6000万；出现“多个卷积层+一个池化层”的结构。

➢ 普遍规律：随网络深入，宽、高衰减，通道数增加

4.2 改进

（1）激活函数

➢ 采用ReLU替代 Tan Sigmoid

➢ 用于卷积层与全连接层之后

（2）Dropout

➢ 在每个全连接层后面使用一个 Dropout 层,以概率 p 随机关闭激活函数

（3）双GPU策略

➢ AlexNet使用两块GTX580显卡进行训练，两块显卡只需要在特定的层进行通信。