torch学习笔记(4)——torch的动态计算图

import torch
import numpy as np
import matplotlib.pyplot as plt

# 计算图（Computer Graph）是用来描述运算的有向无环图
# CG包括两个主要元素：结点（Node）、边（Edge）
# Node表示数据
# Edge表示运算
# 如果想使用非leaf结点的梯度。则需要在反向传播之前调用.retain_grad（）
# CG作用：方便梯度求取及反向传播
# 案例
# y = (x+w)(w+1)，则当w=1，x=2时，y对w的grad是多少？
w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward()
# 可以通过.grad判断变量是否有grad,在反向传播结束后非leaf结点的grad会被释放
print(w.grad)
# grad_fn用于记录创造该tensor时所用的function，实质是在记录Edge
print(y.grad_fn)
# 根据CG搭建方式，可以将CG分为动态图和静态图
# 动态图（Dynamic Graph）运算与搭载同时进行，自驾游
# 静态图（Computation Graph）先搭载图，后运算，跟团旅游