各种深度学习框架大大简化了研究人员的工作量,这主要归功于它们的自动求导功能。如果不借助于这些深度学习框架,我们不仅需要实现网络的前向过程,而且还要推导网络在各层的梯度表达式以实现反向过程。这是非常费时的,而且极易出错。
PyTorch提供了包torch.autograd用于自动求导。在前向过程中,PyTorch会构建计算图,每个节点用Variable表示,边表示由输入节点到输出节点的函数(torch.autograd.Function对象)。Function对象不仅负责执行前向计算,在反向过程中,每个Function对象会调用.backward()函数计算输出对输入的梯度,然后将梯度传递给下一个Function对象。
torch.autograd.Variable
见博客 PyTorch学习系列(三)——Tensor 和 Variable 中关于Variable的介绍。
torch.autograd.Function
Function和Variable一样,是autograd的重要组成部分,每个在Variable上执行的操作都会生成一个Function对象。
属性(成员变量)
saved_tensors
: 传给forward()的参数,在backward()中会用到。needs_input_grad
:长度为 :attr:num_inputs
的bool元组,表示输出是否需要梯度。可以用于优化反向过程的缓存。num_inputs
: 传给函数 :func:forward
的参数的数量。num_outputs
: 函数 :func:forward
返回的值的数目。requires_grad
: 布尔值,表示函数 :func:backward
是否永远不会被调用。