【笔记】Pytorch-backward()

本文是通过学习 AI研习社 炼丹兄 所做笔记！！！

1. .backward()

目录

1.1 .grad

1.2 .is_leaf

1.3 .retain_grad()

1.4 .grad_fn

1.1 .grad

作用：查看叶子节点梯度值

 

例：，计算y关于w的梯度：

(上式计算中，)

  和  是叶子节点，是整个计算过程的根基

在反向传播结束之后，非叶子节点的梯度会被释放掉

Pytorch代码实现过程如下：

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)

a = w + x
b = w + 1
y = a * b

y.backward()
print(w.grad)

运行结果如下：

tensor([5.0])

1.2 .is_leaf

作用：查看是否为叶子节点

例：，计算y关于w的梯度：

(上式计算中，)

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)

a = w + x
b = w + 1
y = a * b

y.backward()
print(w.is_leaf,x.is_leaf,a.is_leaf,b.is_leaf,y.is_leaf)
print(w.grad,x.grad,a.grad,b.grad,y.grad) 

 运行结果如下：

True True False False False
tensor([5.]) tensor([2.]) None None None

观察到只有  和  是叶子节点，然后反向传播计算完梯度后（.backward()之后），只有叶子节点的梯度保存下来了。

 1.3 .retain_grad()

作用：通过.retain_grad()保留非任意节点的梯度值

例：，计算y关于w的梯度：

(上式计算中，)

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)

a = w + x
a.retain_grad()
b = w + 1
y = a * b

y.backward()
print(w.is_leaf,x.is_leaf,a.is_leaf,b.is_leaf,y.is_leaf)
print(w.grad,x.grad,a.grad,b.grad,y.grad)

运行结果如下：

True True False False False
tensor([5.]) tensor([2.]) tensor([2.]) None None

 1.4 .grad_fn

作用：记录创建该张量时所用的函数，这个属性反向传播的时候会用到

例：，计算y关于w的梯度：

(上式计算中，)

 y.grad_fn = MulBackward0 表示y是通过乘法得到的。求导时用乘法的求导法则。

 a.grad_fn = AddBackward0 表示a是通过加法得到的。求导时用加法的求导法则。

        叶子节点的 .grad_f是None

import torch

w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True)

a = w + x
a.retain_grad()
b = w + 1
y = a * b

y.backward()
print(y.grad_fn)
print(a.grad_fn)
print(w.grad_fn)

运行结果如下：

<MulBackward0 object at 0x000002107EE17610>
<AddBackward0 object at 0x000002107EE17610>
None