Pytorch官网学习

1.with as 的用法

with as 的用法

2.叶子节点

在学习pytorch的计算图和自动求导时候，无论如何定义计算过程，如何定义计算图，我们的核心目的是为了计算某些tensor的梯度。
pytorch的计算图中，只有两种元素，数据和运算。
运算：加减乘除，开方，幂指数对数，三角函数等可以求导的运算。
数据：tensor，其中又分为叶子节点和非叶子节点。
使用backward()函数反向传播计算tensor的梯度时，并不计算所有tensor的梯度，而是只计算满足这几个条件的tensor的梯度：1.类型为叶子节点。2.requires_grad=True、3.依赖该tensor的所有tensor的requires_grad=True。
参考原文叶子节点

3.自动求导以及雅可比矩阵

x=torch.randn(4,requires_grad=True)
print(x)
y=x*2
index=0
while y.data.norm()<1000:#它对张量y每个元素进行平方，然后对它们求和，最后取平方根。 这些操作计算就是所谓的L2或欧几里德范数
    y=y*2
    index=index+1
print(y)
print(index)
v = torch.tensor([0.1, 1.0, 1.0], dtype=torch.float) # stand-in for gradients
y.backward()
print(x.grad)

输出：

y.backward(v),的意思是，求v和y的雅可比矩阵。

如果直接写成y.backward(),则就会报错。

因为y不是一个标量，y.backward(),其中括号里默认 的就是torch.tensor[1.0],因为y是一个1*4的，所以在求导的时候，出错。
参考论文参考