【PyTorch】1.4 计算图与动态图机制

目录

一、计算图

二、动态图

---

任务简介：

学习计算图概念，理解动态图和静态图的差异。

详细说明：

本节介绍pytorch最大的特性——动态图机制，动态图机制是pytorch与tensorflow最大的区别，该部分首先介绍计算图的概念，并通过演示动态图与静态图的搭建过程来理解动态图与静态图的差异。

---

一、计算图

测试代码

import torch

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)     # retain_grad()可以保存梯度，非叶子节点的梯度就不会被释放掉
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward() # 反向传播
print(w.grad)

# 查看叶子结点
print("is_leaf:\n", w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)

# 查看梯度
print("gradient:\n", w.grad, x.grad, a.grad, b.grad, y.grad)

# 查看 grad_fn
print("grad_fn:\n", w.grad_fn, x.grad_fn, a.grad_fn, b.grad_fn, y.grad_fn)

输出

tensor([5.])
is_leaf:
 True True False False False
gradient:
 tensor([5.]) tensor([2.]) None None None # 非叶子节点的梯度在反向传播结束之后，会被释放掉，以节省内存
grad_fn:
 None None <AddBackward0 object at 0x00000110332EE288> <AddBackward0 object at 0x00000110332EE2C8> <MulBackward0 object at 0x00000110332EE308>

非叶子节点的梯度通过retain_grad()函数来保留

输入

import torch

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)     # retain_grad()可以保存梯度，非叶子节点的梯度就不会被释放掉
a.retain_grad()
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward() # 反向传播
print(w.grad)

# 查看叶子结点
print("is_leaf:\n", w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)

# 查看梯度
print("gradient:\n", w.grad, x.grad, a.grad, b.grad, y.grad)

输出

tensor([5.])
is_leaf:
 True True False False False
gradient:
 tensor([5.]) tensor([2.]) tensor([2.]) None None 

二、动态图