本系列博客是吴恩达(Andrew Ng)深度学习工程师 课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录
上一节中,我们使用计算图来计算函数
J
,现在我们理清一下计算图的描述,看看我们如何利用它计算出函数
下图是一个流程图,假设你要计算
J
对
在反向传播算法中,我们看到如果你想计算最后输出变量的导数,使用你最关心的变量对v的导数。那么我们就做完了一步反向传播,所以在这个流程图中是一个反向步。
我们来看另一个例子,
dJda
又是多少?换句话说,如果我们提高a的数值,对
J
的数值有什么影响?我们看看这个例子变量
现在我们介绍一种新的符号约定,当你编程实现反向传播时,通常会有一个最终输出值是你要关心的或要优化的(Final output variable),在这种情况下,最终的输出变量是J(计算图里最后一个符号)。所以,有很多计算方试计算输出变量的导数。所以d FinalOutputVar是对某个变量的导数,我们就用d var表示。所以在很多计算中你需要计算最终输出结果的导数,在这个例子里是 J <script type="math/tex" id="MathJax-Element-28">J</script>,还有各种中间变量,比如a b c u v。当你在软件里实现的时候,变量名叫什么?你可以做的一件事是,在Python中,可以用dJ/dvar,但因为你一直对dJ求导,对这个最终输出变量求导,这里要介绍一个新的符号,在程序里我们就使用变量名dvar来表示你关心的最终变量的导数(var可能是J/L等)。
所以在代码中dv=3,dJ=3。通过这个流程图部分完成的后向传播算法,我们在下一节看这个例子剩下的部分。