04 自动求导

自动求导

1.1向量链式法则

• 标量链式法则
  
  

• 拓展到向量
  
  

• 例子1
  
  

• 例子2
  
  

1.2 自动求导

• 自动求导计算一个函数在指定值上的倒数
  
• 它有别于
  
  (1)符号求导
  
  

(2)数值求导

1.3 计算图

• 将代码分解成操作子
  
• 将计算表示成一个无环图
  
  

1.4 自动求导的两种模式

• 链式法则：
  
  

• 正向积累：
  
  

• 反向积累、又称反向传递：
  
  

1.5 反向积累

z = (<x,w>-y)**2

正向：

z = b ** 2

b = a - y

a = <x,w>

反向积累总结：

• 构造计算图
  
• 前向：执行图，存储中间结果
  
• 反向：从相反方向执行图
  

  • 去除不需要的枝<br>