【动手学深度学习】07 自动求导（个人向笔记）

向量链式法则

• 将标量链式法则扩展到向量
  
• 例1：
  
• 例2：
  
  上面没看懂~不过反正可以自动求，所以无所谓啦

---

自动求导

自动求导可以自动地求解一个函数在指定值上的导数

计算图

需要了解其工作原理

• 将代码分解成操作子
• 将计算表示成一个有向无环图
  
• 自动求导有两种模式，区别在于它们的计算顺序
  
• 反向传播的过程时沿着反方向进行的
  
• 复杂度： 反向传播的空间复杂度较低
  

---

自动求导实现

• 假设我们对函数 y = $2x^{T}x$ 关于列向量 $x$ 求导
  
• 在计算 x 的梯度之前需要先保存下来
  
• 使用 backward() 函数来计算 y 关于 x 每个分量的梯度
  
• 计算另一个 x 函数
  
• 可以用 detach() 将tensor移出计算图