[动手学深度学习(PyTorch)]——自动求导

一、自动求导

自动求导计算一个函数在指定值上的导数

1、计算图

显示构造：TensorFlow、Theano、MXNet

隐式构造：PyTorch

2、自动求导的两种模式

• 正向传播：就是先从x出发，u1关于x的导数求出来，借助链式求导法则，此时就可以求u2关于x的导数
• 反向传播：就是先从y出发.

 二、自动求导的实现

• x.requires_grad_(bool)：是否需要定义空间保存梯度信息
• x.grad：该属性用来获取空间中保存的梯度信息
• x.grad.zero_()：清空之前存储的梯度信息
• backward()：进行反向传播
• x.detach()：detach后相当于把变量常数化，用于需要固定参数时是很有用的

自己学习，简单笔记！！！