计算图
举例,一个含有3个参数的函数J。
J(a,b,c) = 3 (a+bc)
其中 ,
u =bc
v = a+u
J = 3v
通过计算图表示前向过程则为
代入值后,J = 3(5+3x2) = 33
利用流程图求出J对应每个变量的导数 ==> 后向过程
- 求dJ / dv
即J对v的导数。
用之前的方法求 ==>
已知
J = 3v
当v = 11 时,J = 33
则当v = 11.001 时,J = 33.003
J的增量 除以 v的增量 =3
所以, dJ / dv = 3
这就完成了第一个反向步骤
- 求dJ / da
同理 将 a = 5 增加到→ 5.001
这时对v的影响是a+u
则v=11 变为了→ 11.001
所以,J =33 变为了→ 33.003
综上,a每增加0.001,J就增加0.003
也就是说,J的增量是 a的增量