深度学习与神经网络总结（二）——卷积神经网络基础

一、深度学习平台介绍

1、PyTorch 和TensorFlow2 的对比

                                                         图1

2PyTorch的基本使用

2.1基本概念

张量： 是一个物理量，对高维 (维数 ≥ 2) 的物理量进行 “量纲分析” 的一种工具。简单的可以理解为：一 维数组称为矢量，二维数组为二阶张量，三维数组 为三阶张量 …

计算图：用“结点”（nodes）和“线”(edges)的有向图来 描述数学计算的图像。“节点” 一般用来表示施加的数学操作，但也可以表示数据输入的起点/输出的 终点，或者是读取/写入持久变量的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线” 可以输运“size可动态调整”的多维数据数组。

二、卷积神经网络

1、基本概念

全连接网络：链接权过多，难算难收敛，同时可能进入局部极小值，也容易产生过拟合问题

局部连接网络：顾名思义，只有一部分权值连接。 部分输入和权值卷积。

填充（Padding）：在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

池化思想： 使用局部统计特征，如均值或最大值。解 决特征过多问题。

                                                  图2 池化

2、卷积神经网络构成

构成：由多个卷积层和下采样层构成，后面可连接全连接网络

卷积层：k个滤波器

下采样层：采用mean或max

后面：连着全连接网络

                                              图3

三、LeNet—5网络

1、网络结构

 

2、网络说明

与现在网络的区别

（1）卷积时不进行填充（padding）

（2）池化层选用平均池化而非最大池化

（3）选用Sigmoid或tanh而非ReLU作为非线性环节激活函数

（4）层数较浅，参数数量小（约为6万）

 

四、AlexNet

1、网络说明

（1） 池化层均采用最大池化

（2）选用ReLU作为非线性环节激活函数

（3）网络规模扩大，参数数量接近6000万

（4）出现“多个卷积层+一个池化层”的结构

2、 普遍规律

随网络深入，宽、高衰减，通道数增加

五、常用数据集

1、MNIST 数据集：主要由一些手 写数字的图片和相应的标签组成，图片一共有 10 类，分别对应从 0~9

2、Fashion-MNIST数据集 ： FashionMNIST 是一个替代 MNIST 手写数字集的图像数据集。 它是由 Zalando旗下的研究部门提供，涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。

FashionMNIST 的大小、格式和训练集/测试集划分与原始的MNIST 完全一致。60000/10000 的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。

3、CIFAR-10数据集 ：CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像 。数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。