自动微分就是autograd包,该包为pytorch中所有神经网络的核心。本博客简要介绍下 后面博客会陆续更新实战内容
1、 tensor
torch.Tensor 是包的核心类。如果将其属性 .requires_grad 设置为 True,则会开始跟踪针对 tensor 的所有操作。完成计算后,您可以调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。
要停止 tensor 历史记录的跟踪,您可以调用 .detach(),它将其与计算历史记录分离,并防止将来的计算被跟踪。
要停止跟踪历史记录(和使用内存),您还可以将代码块使用 with torch.no_grad(): 包装起来。在评估模型时,这是特别有用,因为模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参,但在评估阶段我们不需要梯度。
还有一个类对于 autograd 实现非常重要那就是 Function。Tensor 和 Function 互相连接并构建一个非循环图,它保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用,(如果用户自己创建张量,则g rad_fn 是 None )
如果你想计算导数,你可以调用 Tensor.backward()。如果 Tensor 是标量(即它包含一个元素数据),则不需要指定任何参数backward(),但是如果它有更多元素,则需要指定一个gradient 参数来指定张量的形状。
上文解释来自互联网
张量的一些操作
tensor 、autograd 实战
torch.cat(tensors, dim=0, out=None) # 功能 将张量按照维度dim进行拼接 tensors:张量序列 dim 要拼接的维度
torch.stack(tensors, dim=0, out=None) # 功能:在新建的维度dim上进行拼接
# 还有一些张量拼接、切分的操作 因时间问题大家可以自己看下官方文档 后面有时间可以进行一些补充
import torch
# 创建一个张量 设置requires_grad = true 来跟踪与它的相关计算
x = torch.ones(3, 2, requires_grad=True)
print(x)
输出结果为:
针对张量做一个操作
import torch
x = torch.ones(3, 2, requires_grad=True)
y = x + x
print(y)
输出结果为:
y做为x与x相加的结果被创建 因此会有grad_fn记录如何来的 我们可以输出 y的grad_fn
print(y.grad_fn)
# 结果如下
我们还可以在对y进行一系列的操作
# 接着上面的代码继续写
z = y * y
print("z 为:{}".format(z))
# 结果如下
梯度
我们前面写的一些简单得例子都是进行得前向传播,现在我们进行后向传播
先写一个比较简单得例子
像平常我们写的函数
y=x * x
dy/dx = 2* x
# 首先设置x
x = torch.ones((1,1), requires_grad= True)
y = x * x
y.backward()
print(y.grad_fn)
print(x.grad)
# 结果为
解释: x得平方求导为2x 因为x 为1因此结果为2
同理当x 为多维的时候如下
x = torch.rand(2, 2)
x.requires_grad = True
y = x * x
print(y)
y.backward(x)
print(x.grad)
# 结果如下
torch.no_grad()用来停止跟踪历史中的.requires_grad=True 的张量自动求导。
使用案例如下
x = torch.rand(2, 2)
x.requires_grad = True
z = x * x
print("z.requires_grad = {}".format(z.requires_grad))
with torch.no_grad():
y = x * x
print("y.requires_grad = {}".format(y.requires_grad))
结果如下