Pytorch学习笔记（一）

AUTOGRAD: AUTOMATIC DIFFERENTIATION

对于在Tensor里所有的操作，这个autograd包都会提供自动的微分操作。它是个按运行定义的框架，这就意味着你的反向传播是由代码如何运行来定义的，每一步迭代都可能不同。

Tensor

torch.Tensor是包的核心类，如果将其属性设置 .requires_grad为True，则会开始跟踪其上的所有操作。完成计算后，我们可以调用.backward()并获得所有自动计算出来的梯度。该Tensor的梯度将累积到.grad中。

如果想阻止Tensor跟踪的话，可以调用.detach()将其从计算的历史记录中分离出来，并防止以后的跟踪计算。为了防止跟踪历史或者使用内存，我们可以将代码写在with torch.no_grad():内，当评估一个模型时会很有用，因为一个模型会有可训练参数（requires_grad=True）但我们却不需要它的梯度。

还有一个类对于autograd实现非常重要 ：Function。Tensor与Function互相连接并构建一个非循环图，这个图编码完整的计算历史。每个Tensor都有一个.grad_fn属性，这个属性引用这个已创建Tensor的Function。

如果你想计算导数，你可以在Tensor中调用.backward()。如果Tensor是标量（即它包含一个元素数据），则不需要在.backward()指定任何参数，但是如果它有更多元素，则需要指定一个匹配形状的张量的gradient 参数。

创建一个张量并设置requires_grad=True来跟踪计算


做一个tensor操作：

y是作为一个操作的结果创建的，所以它有grad_fn。


.requires_grad_( … )操作可以立即改变已存在的requires_grad标志。如果没有给出，那么输入标志默认时False。

Gradients

试试反向传播（backprop），out是一个单一标量，out.backward()就相当于out.backward(torch.tensor(1.))。




现在让我们看一下矢量雅可比结果的例子：

现在在这种情况下y不再是标量。torch.autograd 无法直接计算完整的雅可比行列式，但如果我们只想要矢量雅可比的结果，只需将向量传递给 backward参数：

我们还可以在Tensor的.requires_grad=True的情况下，通过在将代码写在with torch.no_grad():内，使得autograd停止跟踪计算。