PyTorch学习Task02 PyTorch基础知识

张量

标量视为零阶张量，矢量可以视为一阶张量，矩阵就是二阶张量

• 3维=时间序列
• 4维=图像
• 5维=视频

张量像一个数据容器
torch.Tensor 是存储和变换数据的主要工具
与numpy类似

更多函数看文档（明天有时间打一下，今天实在没时间。）

自动求导

PyTorch里神经网络能够训练就是靠autograd包。autograd 包提供了对张量的所有运算自动求导。它是一个在运行时定义 ( define-by-run ）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。

如果设置它的属性 .requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。

梯度

数学上，若有向量函数$\vec{y}=f(\vec{x})$，那么 $\vec{y}$ 关于 $\vec{x}$ 的梯度就是一个雅可比矩阵：
$$J=\left(\begin{array}{ccccccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}⋮& \ddots & ⋮\frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$ 而
torch.autograd 这个包就是用来计算一些雅可比矩阵的乘积的。例如，如果 $v$ 是一个标量函数 $l=g(\vec{y})$
的梯度： $$v=\left(\begin{array}{lll}\frac{\partial l}{\partial y_1}& \cdots & \frac{\partial l}{\partial y_m}\end{array}\right)$$
由链式法则，我们可以得到： $$vJ=\left(\begin{array}{lll}\frac{\partial l}{\partial y_1}& \cdots & \frac{\partial l}{\partial y_m}\end{array}\right)\left(\begin{array}{ccccccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}⋮& \ddots & ⋮\frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)=\left(\begin{array}{lll}\frac{\partial l}{\partial x_1}& \cdots & \frac{\partial l}{\partial x_n}\end{array}\right)$$

一些求梯度的步骤

并行计算

在PyTorch使用 CUDA表示要开始要求我们的模型或者数据开始使用GPU了。

在编写程序中，当我们使用了 cuda() 时，其功能是让我们的模型或者数据迁移到GPU当中，通过GPU开始计算。