Pytorch学习（二）------ 自动微分

自动微分就是autograd包，该包为pytorch中所有神经网络的核心。本博客简要介绍下 后面博客会陆续更新实战内容

1、 tensor

torch.Tensor 是包的核心类。如果将其属性 .requires_grad 设置为 True，则会开始跟踪针对 tensor 的所有操作。完成计算后，您可以调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。
要停止 tensor 历史记录的跟踪，您可以调用 .detach()，它将其与计算历史记录分离，并防止将来的计算被跟踪。
要停止跟踪历史记录（和使用内存），您还可以将代码块使用 with torch.no_grad(): 包装起来。在评估模型时，这是特别有用，因为模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参，但在评估阶段我们不需要梯度。
还有一个类对于 autograd 实现非常重要那就是 Function。Tensor 和 Function 互相连接并构建一个非循环图，它保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用，（如果用户自己创建张量，则g rad_fn 是 None ）
如果你想计算导数，你可以调用 Tensor.backward()。如果 Tensor 是标量（即它包含一个元素数据），则不需要指定任何参数backward()，但是如果它有更多元素，则需要指定一个gradient 参数来指定张量的形状。
上文解释来自互联网

张量的一些操作

tensor 、autograd 实战

torch.cat(tensors, dim=0, out=None) # 功能 将张量按照维度dim进行拼接 tensors:张量序列 dim 要拼接的维度
torch.stack(tensors, dim=0, out=None) # 功能：在新建的维度dim上进行拼接
# 还有一些张量拼接、切分的操作 因时间问题大家可以自己看下官方文档  后面有时间可以进行一些补充

import torch

# 创建一个张量 设置requires_grad = true 来跟踪与它的相关计算
x = torch.ones(3, 2, requires_grad=True)
print(x)

输出结果为：

针对张量做一个操作

import torch
x = torch.ones(3, 2, requires_grad=True)

y = x + x
print(y)

输出结果为：

y做为x与x相加的结果被创建 因此会有grad_fn记录如何来的 我们可以输出 y的grad_fn

print(y.grad_fn)
# 结果如下

我们还可以在对y进行一系列的操作

# 接着上面的代码继续写
	z = y * y
	print("z 为：{}".format(z))
	# 结果如下

梯度

我们前面写的一些简单得例子都是进行得前向传播，现在我们进行后向传播

先写一个比较简单得例子
像平常我们写的函数
y=x * x
dy/dx = 2* x

# 首先设置x
x = torch.ones((1,1), requires_grad= True)
y = x * x
y.backward()
print(y.grad_fn)
print(x.grad)
# 结果为

解释： x得平方求导为2x 因为x 为1因此结果为2

同理当x 为多维的时候如下

x = torch.rand(2, 2)
x.requires_grad = True
y = x * x
print(y)
y.backward(x)
print(x.grad)
# 结果如下

torch.no_grad()用来停止跟踪历史中的.requires_grad=True 的张量自动求导。
使用案例如下

x = torch.rand(2, 2)
x.requires_grad = True
z = x * x
print("z.requires_grad = {}".format(z.requires_grad))
with torch.no_grad():
    y = x * x
    print("y.requires_grad = {}".format(y.requires_grad))

结果如下