深度学习课程系列笔记（二）

深度学习框架

 

 

Pytorch的使用

张量

张量是一个物理量，对高维 (维数 ≥ 2) 的物理量进行“量纲分析” 的一种工具。简单的可以理解为：一维数组称为矢量，二维数组为二阶张量，三维数组为三阶张量。

计算图

用结点和线的有向图来描述数学计算的图像。结点一般用来表示施加的数学操作，但也可以表示数据输入的起点/输出的终点，或者是读取/写入持久变量的终点。线表示节点之间的输入/输出关系。这些数据线可以输运“size可动态调整”的多维数据数组，即张量。

卷积神经网络

 

 

 LeNet-5

 

网络结构一共有7层，包括3个卷积层、2个下采样层和2个全连接层。如图所示。

LeNet-5与现代网络的差别：

1. 不使用填充

2. 池化选择平均池化而不是最大池化

3. 选用sigmoid而非ReLU作为激活函数

4. 层数较浅，参数量较小（约6万）

 规律：随网络深入，宽、高衰减，通道数增加。

误差反传：

LeNet-5的代码实现（李沐《动手学深度学习》）