pytorch 计算图与动态图机制

计算图与动态图机制

计算图

计算图是用来描述 运算 的有向无环图
计算图有两个主要元素：
结点 Node ，表示数据，如向量，矩阵，张量
和 边 Edge，表示运算 ，如加减乘除卷积等

用计算图表示：
y = (x+ w) * (w+1)
a = x + w
b = w + 1
y = a * b

叶子结点 ：用户创建的结点称为叶子结点，如 X 与 W
is_leaf: 指示 张量是否为叶子结点

梯度反向传播之后，非叶子节点的梯度会被释放

grad_fn: 记录创建该张量时所用的方法（函数)
y.grad_fn =

a.grad_fn =

b.grad_fn =

import torch

w = torch.tensor([1.], requires_grad=True)//
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)
# a.retain_grad()//使用非叶子节点的梯度
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward()
print(w.grad)

# 查看叶子结点
# print("is_leaf:\n", w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)

# 查看梯度
# print("gradient:\n", w.grad, x.grad, a.grad, b.grad, y.grad)

# 查看 grad_fn
print("grad_fn:\n", w.grad_fn, x.grad_fn, a.grad_fn, b.grad_fn, y.grad_fn)

动态图

类比跟团旅游和自由行