神经网络与深度学习课程笔记（Week 3）

1.神经网络常用技巧

1.1 K折交叉验证

定义：原始训练数据被分成 K 个不重叠的子集。 然后执行 K 次模型训练和验证，每次在 K−1 个子集上进行训练， 并在剩余的一 个子集（在该轮中没有用于训练的子集）上进行验证。 最后，通过对 K 次实验的结果取平均来估计训练和验证误差。

1.2 欠拟合与过拟合

欠拟合：误差一直比较大

过拟合：在训练数据集上误差小而在测试数据集上误差大

 1.3 权重衰减 (𝐿2正则化)

 1.4 Dropout(暂退)

定义：在整个训练过程的每一次迭代中，标准暂退法包括在计算下一层之前将当前层中的一些节点置零。

2. 卷积神经网络基础

 2.1 深度学习平台介绍

2.2 基本概念

张量：是一个物理量，对高维 (维数 ≥ 2) 的物理量进行“量纲分析” 的一种工具。简单的可以理解为：一 维数组称为矢量，二维数组为二阶张量，三维数组为三阶张量 …

计算图：用“结点”（nodes）和“线”(edges)的有向图来 描述数学计算的图像。“节点” 一般用来表示施加 的数学操作，但也可以表示数据输入的起点/输出的 终点，或者是读取/写入持久变量的终点。“线”表 示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组，即 “张量”（tensor）

全连接网络：链接权过多，难算难收敛，同时可能进入局部极小值，也容易产生过拟合问题

局部连接网络 ： 顾名思义，只有一部分权值连接。部分输入和权值卷积。

填充（Padding） ： 也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

多通道卷积 ：如RGB

池化 ：使用局部统计特征，如均值或最大值。解 决特征过多问题。

 

构成 ：由多个卷积层和下采样层构成，后面可连接全连接网络

卷积层 ： k 个滤波器

下采样层 ：采用mean或max ，后面 连着全连接网络

2.3 LeNet-5网络

2.3.1 网络提出及结构

 2.3.2 结构详解

C1层：6个Feature map构成；每个神经元对输入进行5*5卷积每个神经元对应5*5+1个参数，共6个feature map， 28*28个神经元，因此共有 (5*5+1)*6*(28*28)=122,304连接。

S2层（Pooling层）

C3层：卷积层，结构如下图

S4层：与S2层工作相同

C5层：120个神经元 ；每个神经元同样对输入进行5*5卷积，与S4全连接 ；总连接数(5*5*16+1)*120=48120

F6层：84个神经元 ；与C5全连接 ；总连接数(120+1)*84=10164

输出层：

由欧式径向基函数单元构成；每类一个单元； 输出RBF单元计算输入向量和参数向量之间的欧式距离

网络总括如下图所示。

网络说明：

与现在网络的区别

         卷积时不进行填充（padding）

         池化层选用平均池化而非最大池化

         选用Sigmoid或tanh而非ReLU作为非线性环节激活函数

         层数较浅，参数数量小（约为6万）

普遍规律

         随网络深入，宽、高衰减，通道数增加