神经网络与深度学习第二周课程总结

目录

为什么要“深度”学习

全连接网络问题

卷积神经网络基础

LeNet-5网络

基本卷积神经网络

---

• 为什么要“深度”学习

  • 全连接网络问题

全连接网络：链接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题

e.g. 输入为1000 × 1000图像，隐含层有1M个节点，则输入->隐 含层间有1 × 1012数量级参数

解决算的慢问题：减少权值连接，每一个节点只连到上一层的少数神经元，即局部连接网络。

解决难收敛、算的慢问题：权值过多极易产生过拟合。如何消除？

回想人类解决思路：信息分层处理，每一层在上层提取特征的基 础上获取进行再处理，得到更高级别的特征。

• 卷积神经网络基础

特征提取

注意，图像卷积时，根据定义，需要首先把卷积核上下左右转置。此处卷积核（黄色）是对称的，所以忽视。

填充（Padding），也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

​​​步长(Stride)：如图步长为2

​​​​多通道卷积：如RGB

构成：由多个卷积层和下采样层构成，后面可连接全连接网络

卷积层：𝑘个滤波器

下采样层：采用mean或max

后面：连着全连接网络

递推：

前向传播定义为：

注意 ，此处忽视卷积核的上下左右转置，因为不影响最终结果。

如果第 𝑙 层是卷积+池化层，则：

卷积 NN 的 BP 算法：卷积层 + 卷积层

卷积 NN 的 BP 算法：卷积层 + 全连接层

• LeNet-5网络

网络结构

6个Feature map构成

每个神经元对输入进行5*5卷积

每个神经元对应5*5+1个参数，共6个feature map,28*28个神经元，因此共有

(5*5+1)*6*(28*28)=122,304连接

利用一个可视化网站可以帮助更好的理解卷积神经网络的结构（https://adamharley.com/nn_vis/cnn/3d.html）

• 基本卷积神经网络

  • AlexNet

网络一共有8层可学习层——5层卷积层和3层全连接层

改进

池化层均采用最大池化

选用ReLU作为非线性环节激活函数

网络规模扩大，参数数量接近6000万

出现“多个卷积层+一个池化层”的结构

普遍规律

随网络深入，宽、高衰减，通道数增加

• VGG-16

改进

网络规模进一步增大，参数数量约为1.38亿

由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

普遍规律

随网络深入，高和宽衰减，通道数增多。

• 残差网络

1. 卷积层主要有3×3的过滤器，并遵循两个简单的设计规则:①对输出特征图的尺寸相同的各层，都有相同数量的过滤器; ②如果特征图的大小减半，那么过滤器的数量就增加一倍，以保证每一层的时间复杂度相同。
2. ResNet模型比VGG网络更少的过滤器和更低的复杂性。ResNet具有34层的权重层，有36亿 FLOPs，只是VGG-19（19.6亿FLOPs）的18%。