pytorch反向传播函数示例代码

pytorch会根据计算过程来自动生成动态图，然后可以根据动态图的创建过程进行反向传播，计算得到每个节点的梯度值。为了能够记录张量的梯度，首先需要在创建张量的时候设置一个参数requires_grad=True，意味着这个张量会加入计算图中，作为计算图的叶子节点参与计算，通过一系列的计算，最后输出结果张量，也就是根节点。

import torch
torch.cuda.set_device(0) # 指定第一块GPU


t1 = torch.randn(3,3,requires_grad=True) # 定义一个3X3的张量
print(t1)

t2 = t1.pow(2).sum() # 计算张量的所有分量平方和
print(t2)

t2.backward() # 反向传播 无返回值

print(t1.grad) # 梯度是张量原始分量平方和

t2 = t1.pow(2).sum() # 再次计算张量的所有分量平方和
print(t2)

t2.backward() # 再次反向传播

print(t1.grad) # 梯度累积

print(t1.grad.zero_()) # 单个张量梯度清零的方法

Done！！！