【无标题】

神经网络与深度学习第三周学习总结

深度学习平台介绍

PyTorch是一个Python的深度学习库。它最初由Facebook人工智能研究小组开发。

基本概念：
张量：是一个物理量，对高维(维数≥2)的物理量进行“量纲分析”的一种工具。简单的可以理解为：一维数组称为矢量，二维数组为二阶张量，三维数组 为三阶张量。
计算图：用“结点”（nodes）和“线”(edges)的有向图来描述数学计算的图像。“节点”一般用来表示施加的数学操作，但也可以表示数据输入的起点/输出的终点，或者是读取/写入持久变量的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组，即 “张量”（tensor）。

卷积神经网络基础
全连接网络：链接权过多，难算难收敛，同时可能进入局部极小值，也容易产生过拟合问题。
局部连接网络：顾名思义，只有一部分权值连接。部分输入和权值卷积。
填充（Padding）：也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

步长(Stride)：如图步长为2。

卷积神经网络结构构成：由多个卷积层和下采样层构成，后面可连接全连接网络。
学习算法：

LeNet-网络
网络结构：

C1层：每个神经元对应55+1个参数，共6个feature map，2828个神经元，因此共有(55+1)6(2828)=122304连接。

S2层：进行池化运算。

C3层：与S2层部分连接。

S4层：与S2层工作相同。

C5层：120个神经元，每个神经元同样对输入进行55卷积，与S4全连接，总连接数(55*16+1)*120=48120。

F6层：84个神经元，与C5全连接，总连接数(120+1)*84=10164。

输出层：由欧式径向基函数单元构成，每类一个单元，输出RBF单元计算输入向量和参数向量之间的欧式距离。

网络说明：

与现在网络的区别：卷积时不进行填充，池化层选用平均池化而非最大池化，选用Sigmoid或tanh而非ReLU作为非线性环节激活函数，层数较浅，参数数量小。

普遍规律：随网络深入，宽、高衰减，通道数增加