神经网络与深度学习-第二次总结

一、深度学习的优势

1、全连接网络的问题

• 全连接网络：链接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题。e.g. 输入为1000 × 1000图像，隐含层有1M个节点，则输入->隐 含层间有 1×1012 数量级参数
• 解决算的慢问题：减少权值连接，每一个节点只连到上一层的少 数神经元，即局部连接网络。
• 

2、深度学习平台简介

3、Pytorch简介

• PyTorch是一个Python的深度学习库。它最初由Facebook人工智能研 究小组开发，而优步的Pyro软件则用于概率编程。
• 最初，PyTorch由Hugh Perkins开发，作为基于Torch框架的LusJIT的 Python包装器。PyTorch在Python中重新设计和实现Torch，同时为后端代码共享相同的核心C库。
• 除了Facebook之外，Twitter、GMU和Salesforce等机构都采用了 PyTorch。
• 到目前，据统计已有80%的研究采用PyTorch，包括Google.

• 4、基本概念

• 张量（Tensor）：是一个物理量，对高维(维数≥ 2) 的物理量进行“量纲分析”的一种工具。简单的可以理解为：一维数组称为矢量，二维数组为二阶张量，三维数组为三阶张量…
• 计算图：用“结点”（nodes）和“线”(edges)的有向图来描述数学计算的图像。 “节点”一般用来表示施加的数学操作，但也可以表示数据输入的起点/输出的终点，或者是读取/写入持久变量的终点。 “线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组，即“张量”（tensor）

• 5、卷积神经网络基础

• 基本概念

  1.特征提取：注意，图像卷积时，根据定义，需要首先把卷积核上下左右转置。此处 卷积核（黄色）是对称的，所以忽视。
  2.填充（Padding）：也就是在矩阵的边界上填充一些值，以 增加矩阵的大小，通常用0或者复制边界像素来进行填充。

• 3.步长(Stride)

• 4.多通道卷积：如RGB

• 5.池化(Pooling)：思想：使用局部统计特征，如均值或最大值。解 决特征过多问题

• 6.卷积神经网络结构

• 构成：由多个卷积层和下采样层构成，后面可连接全连接网络。
• 卷积层：k个滤波器。
• 下采样层：采用mean或max。
• 后面：连着全连接网络
• 7、学习算法
• 8、误差反向传播
• 9、LeNet-5网络
• 6个Feature map构成
• 每个神经元对输入进行5*5卷积
• 每个神经元对应5*5+1个参数，共6个feature map， 28*28个神经元，因此共有 (5*5+1)*6*(28*28)=122,304连接

• 与现在网络的区别 ：

• 卷积时不进行填充（padding）
• 池化层选用平均池化而非最大池化
• 选用Sigmoid或tanh而非ReLU作为非线性环节激活函数
• 层数较浅，参数数量小（约为6万）