学习记录002-Autograd--自动求导系统难点理解

Autograd–自动求导系统几个例子

（1）torch.autograd.backward( )

例1-用pytorch实现下面例子

对于上面的式子，y=(x+w)*(w+1)=xw+w^2+x+w
如果是对w求导，y'=x+2w+1
如果是对x求导，y'=w+1

下面是代码的实现过程：

import torch

#----------------------（1）和写数学题一样，先定义w,x-----------------------
w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

#---------------------（2）用torch.add(),torch.mul()函数实现加法和乘法------
a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)


#---------------------（3）用backward()函数实现反向传播-----------------
# y.backward(retain_graph=True)  #如果先执行两次反向传播，写两句y.backward()会报错，根据报错，可以将y.backward()里面的retain_graph=True，即一句y.backward(retain_graph=True) ，一句y.backward()
y.backward() #可以设置断点，点击pycharm运行右边的绿色小虫子执行debug，可以发现是torch.autograd.backward( )函数起作用

#---------------------（4）分别计算以w,x为自变量的y的导数---------------
print("w的导数：{}".format(w.grad)) #就是以w为自变量，对y求导，然后把已知的值代入所求的导数中
print("x的导数：{}".format(x.grad)) #同上，结果是对的

结果

w的导数：tensor([5.])
x的导数：tensor([2.])

例2-用pytorch实现多梯度权重

import torch
w = torch.tensor([1.],requires_grad=True)
x = torch.tensor([2.],requires_grad=True)

a = torch.add(w,x) #a=w+x
b = torch.add(w,1) #b=w+1

y0 = torch.mul(a,b) #y0=(w+x)*(w+1)
y1 = torch.add(a,b) #y1=(w+x)+(w+1)

#--------------------（1）这里就是和例1的不同点-------------------------
y = torch.cat([y0,y1],dim=0)#这里的y和例1不同的就是是两个式子的合并，这里不加dim=0好像也没错，因为y只有一个维度
grad_tensors = torch.tensor([1.,2.]) #这里的grad_tensors：多梯度权重，也就是y0'*1+y1'*2

y.backward(gradient=grad_tensors)

print(w.grad)

结果

tensor([9.])

（2）torch.autograd.gard( )

例3-用torch.autograd.gard( )实现求二阶导

import torch

x = torch.tensor([3.], requires_grad=True)
y = torch.pow(x, 2)     # y = x**2

#---------------------------（1）-------------------------------------
grad_1 = torch.autograd.grad(y, x, create_graph=True)   # grad_1 = dy/dx = 2x = 2 * 3 = 6 ，create_graph=True是创建导数的计算图，为下面的grad_2做准备，只有对导数创建计算图才能对导数进行再次求导。第一个参数的式子，第2个参数是求导的自变量
print(grad_1)

#-------------------------- （2） --------------------------------------
grad_2 = torch.autograd.grad(grad_1[0], x)              # grad_2 = d(dy/dx)/dx = d(2x)/dx = 2，这里写得比较严谨，参数只写grad_1也是可以的
print(grad_2)

结果

(tensor([6.], grad_fn=<MulBackward0>),)
(tensor([2.]),)