全连接网络问题
全连接网络
链接权过多,算的慢,难收敛,同时可能进入局部
极小值,也容易产生过拟合问题
解决算的慢问题
减少权值连接,每一个节点只连到上一层的少
数神经元,即局部连接网络。
深度学习平台简介
PyTorch
➢ PyTorch是一个Python的深度学习库。 它最初由Facebook人工智能研
究小组开发, 而优步的Pyro软件则用于概率编程。
➢ 最初, PyTorch由Hugh Perkins开发, 作为基于Torch框架的LusJIT的
Python包装器。 PyTorch在Python中重新设计和实现Torch, 同时为
后端代码共享相同的核心C库。
➢ 除了Facebook之外, Twitter、 GMU和Salesforce等机构都采用了
PyTorch。
➢ 到目前, 据统计已有80%的研究采用PyTorch, 包括Google
PyTorch 和TensorFlow2 的对比
PyTorch基本使用
基本概念
张量
是一个物理量,对高维 (维数 ≥ 2) 的物理量进行“量纲分析” 的一种工具。简单的可以理解为:一维数组称为矢量,二维数组为二阶张量,三维数组为三阶张量。
计算图
用“结点”( nodes)和“线” (edges)的有向图来描述数学计算的图像。“节点” 一般用来表示施加的数学操作,但也可以表示数据输入的起点/输出的终点,或者是读取/写入持久变量的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“ size可动态调整”的多维数据数组,即“张量”( tensor)
简单示例
构建简单的计算图,每个节点将零个或多个tensor作为输入,产生一个
tensor作为输出。 PyTorch中,所见即为所得, tensor的使用和numpy中的多
维数组类似。
卷积神经网络基础
基本概念-特征提取
基本概念
填充
就是在矩阵的边界上填充一些值,以增加矩阵的大小,通常用0或者复制边界像素来进行填充。
步长
如图步长为2
多通道卷积
如RGB
基本概念-池化
思想:使用局部统计特征,如均值或最大值。解决特征过多问题。
基本概念-卷积神经网络结构
构成:由多个卷积层和下采样层构成,后面可连接全连接网络
卷积层: 𝑘个滤波器
下采样层:采用mean或max
后面:连着全连接网络
学习算法
误差反向传播
经典BP算法![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d5a750e80d063dec621b502105d4fafe.png)
卷积NN的BP算法:下采样层
如果当前是卷积层,下一层为下采样层,误差如何从下采样层回传
假设为22核平均池化
如果当前是下采样层,下一层为卷积层,误差如何从卷积回传
假设为22核卷积
卷积NN的BP算法:卷积层+卷积层
卷积NN的BP算法:卷积层+全连接层