pytorch中backward参数含义

pytorch中backward参数含义

1.标量与矢量问题

• backward参数是否必须取决于因变量的个数，从数据中表现为标量和矢量；

例如标量时 $$y=一个明确的值$$ 矢量时 $$y=[y1，y2]$$

2.backward 参数计算公式

• 当因变量公式不是一个标量时，需要显式添加一个参数进行计算，以pytorch文档示例说明：

import torch

a = torch.tensor([2., 3.], requires_grad=True)
b = torch.tensor([6., 4.], requires_grad=True)
Q = 3*a**3 - b**2

• 例如求解公式$$Q=3a^3-b^2$$，此时Q是一个矢量，即2*1的向量，那么就需要显式添加参数去计算$$\frac{\partial Q}{\partial a}=9a^2$$ $$\frac{\partial Q}{\partial b}=-2b$$

external_grad = torch.tensor([1., 1.])
Q.backward(gradient=external_grad)

• 可以看到backward参数为[1,1]，具体计算的含义，我们把Q公式拆分为标量形式即：
  $$Q_1=3a_1^3-b_1^2$$
  $$Q_2=3a_2^3-b_2^2$$

  • 雅可比公式形式
    $$\frac{\partial Q}{\partial a}=\left[\begin{array}{cc}\frac{\partial Q_1}{\partial a_1}& \frac{\partial Q_1}{\partial a_2}\\ & \\ \frac{\partial Q_2}{\partial a_1}& \frac{\partial Q_2}{\partial a_2}\end{array}\right]$$
    $$\frac{\partial Q}{\partial b}=\left[\begin{array}{cc}\frac{\partial Q_1}{\partial b_1}& \frac{\partial Q_1}{\partial b_2}\\ & \\ \frac{\partial Q_2}{\partial b_1}& \frac{\partial Q_2}{\partial b_2}\end{array}\right]$$

• backward参数为[1,1]，计算公式为
  $$\left[\begin{array}{cc}\frac{\partial Q_1}{\partial a_1}& \frac{\partial Q_2}{\partial a_1}\\ & \\ \frac{\partial Q_1}{\partial a_2}& \frac{\partial Q_2}{\partial a_2}\end{array}\right]\ast \left[\begin{array}{c}1\\ 1\end{array}\right]=[36,81]$$
  $$\left[\begin{array}{cc}\frac{\partial Q_1}{\partial b_1}& \frac{\partial Q_2}{\partial b_1}\\ & \\ \frac{\partial Q_1}{\partial b_2}& \frac{\partial Q_2}{\partial b_2}\end{array}\right]\ast \left[\begin{array}{c}1\\ 1\end{array}\right]=[-12,-8]$$

3.autograd

torch.autograd是计算向量和雅可比公式的乘积的引擎：

• 其中J就是因变量与自变量的雅可比公式，v即backward中的参数；类比于第二节的例子可对应；
• 前向传播得到数值后，利用此形式计算直接后向传播计算出损失函数对应各权值的梯度下降值