PyTorch基础知识

PyTorch基础知识

一、张量

几何代数中定义的张量是基于向量和矩阵的推广，比如我们可以将标量视为零阶张量，矢量可以视为一阶张量，矩阵就是二阶张量。更加深奥的理解可以在知乎上看：什么是张量

• 0维张量/标量 标量是一个数字
• 1维张量/向量 1维张量称为“向量”。
• 2维张量 2维张量称为矩阵
• 3维张量 公用数据存储在张量 时间序列数据 股价 文本数据 彩色图片(RGB)

二、自动求导

PyTorch 中，所有神经网络的核心是 autograd包。autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义 ( define-by-run ）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。

PS:在这里可以了解一下神经网络的反向传播，补充一下对应的理论知识-反向传播

torch.Tensor是这个包的核心类。如果设置它的属性.requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用.backward()，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。

可以通过文章末尾的样例代码加深对grad属性的理解。

三 、并行计算简介

1、理解CUDA是什么：
CUDA是我们使用GPU的提供商——NVIDIA提供的GPU并行计算框架。对于GPU本身的编程，使用的是CUDA语言来实现的。但是，在我们使用PyTorch编写深度学习代码时，使用的CUDA又是另一个意思。在PyTorch使用 CUDA表示要开始要求我们的模型或者数据开始使用GPU了。

可以理解为：CUDA可以让程序员直接通过代码调用GPU进行计算，而不用通过CPU这个中间介质再进行GPU的调用，也是英伟达稳定用户群体的一种方式吧。

在编写程序中，当我们使用了 cuda() 时，其功能是让我们的模型或者数据迁移到GPU当中，通过GPU开始计算。

2、并行计算：

• 网络结构分布到不同的设备中(Network partitioning)

在刚开始做模型并行的时候，这个方案使用的比较多。其中主要的思路是，将一个模型的各个部分拆分，然后将不同的部分放入到GPU来做不同任务的计算。其架构如下：

这里遇到的问题就是，不同模型组件在不同的GPU上时，GPU之间的传输就很重要，对于GPU之间的通信是一个考验。但是GPU的通信在这种密集任务中很难办到。所有这个方式慢慢淡出了视野，

• 同一层的任务分布到不同数据中(Layer-wise partitioning)

第二种方式就是，同一层的模型做一个拆分，让不同的GPU去训练同一层模型的部分任务。其架构如下：

这样可以保证在不同组件之间传输的问题，但是在我们需要大量的训练，同步任务加重的情况下，会出现和第一种方式一样的问题。

• 不同的数据分布到不同的设备中，执行相同的任务(Data parallelism)

第三种方式有点不一样，它的逻辑是，我不再拆分模型，我训练的时候模型都是一整个模型。但是我将输入的数据拆分。所谓的拆分数据就是，同一个模型在不同GPU中训练一部分数据，然后再分别计算一部分数据之后，只需要将输出的数据做一个汇总，然后再反传。其架构如下：

这种方式可以解决之前模式遇到的通讯问题。
PS:现在的主流方式是数据并行的方式(Data parallelism)

关于jupyter使用虚拟环境的设置

设置jupyter主题和字体Jupyter notebook设置背景主题,字体大小及自动补全代码的操作
最终：样式设置 jt -t grade3 -f fira -fs 10 -ofs 10 -dfs 8 -T -N

windows系统下jupyter notebook使用虚拟环境：将虚拟环境导入jupyter使用虚拟环境

解决Jupyter Notebook虚拟环境不能自动补全代码：解决不能自动补全问题