教程是本人学习吴恩达老师DeepLearing系列课程中整理的最为详细的学习笔记。学习视频主要来自B站[双语字幕]吴恩达深度学习deeplearning.ai_哔哩哔哩_bilibili?,以及DeepLearning官方网站Deep Learning by deeplearning.ai | Coursera。该系列课程总共有180多个,我会将学习笔记陆续分享出来,为有兴趣深度学习的同仁提供便利。再次由衷感谢吴恩达老师的精彩讲解和无私奉献!
特别说明:图片来源于吴恩达老师视频截图。
上个视频中,我们看到一个例子,使用流程图来计算函数J。现在我们清理一下流程图的描述,看看你如何利用它计算出函数J的导数。
所以这是一个流程图。假设你要计算J对v的导数,那么该怎么计算呢?
比如说,我们要把这个v值拿过来,改变一下,那么J的值会怎么变呢?所以定义上J是3v,现在v等于11,所以如果你让 v增加一点点,比如到11.001,那么J是3v,现在33就增加到33.003。所以这里v增加了0.001,然后最终结果是J增加量为v增加量的3倍,所以J对v的导数就等于3,即=3。因为对于任何v的增量,J都会有三倍v的增量。而且这类似于我们在上一个视频中的例子,f(a)=3a,然后我们推导出df(a)/da,稍微简化点写为df/da=3。
所以这里我们有J= 3v,所以dJ/dv就等于3。这里J扮演了f的角色,v扮演了a的角色。
在之前的视频里的例子,在反向传播算法中的术语,我们看到如果你想计算最后输出变量的导数,使用你最关心的变量对v的导数,那么我们就做完了一步反向传播。
我们再来看另外一个例子。是多少呢?话句话说,如果我们提高a 的数值,对J的数值有什么影响呢?好,我们来看看这个例子,变量a=5,我们让它增加到5.001,那么对v的影响就是a+u,之前是11,现在变成了11.001。从上面可以看到,现在J变成了33.003了。所以我们看到的是如果你让a增加0.001,J增加0.003,那么增加a,也就是说你把这个5换成某个新值,那么a的改变量就会传播到流程图的最右,所以J最后是33.003。所以J的增加量是3乘以a的增量,意味着这个导数是3,即
=3。
要解释这个计算过程其中一种方式是,如果你改变了a,那么也会改变v,通过改变v,也会改变J。所以J值的净变化量,当你把a值提高一点点,这就是J的变化量。首先,a增加了v也会增加,v增加多少呢?增加了一个量,这取决于,然后v的变化导致J也在增加。所以这在微积分里实际上叫链式法则。如果a影响到v影响到J,那么当你让a变大时,J的变化量就是当你改变a时v的变化量乘以改变v时J的变化量。在微积分里这叫链式法则。我们从这个计算中看到,如果你让a增加0.001,v也会变化相同的大小,所以
就等于1。事实上,如果你代入进去,我们之前算过
等于3,
等于1,所以这个乘积3×1实际上就给出了正确答案,
就等于3。
这张小图表示了如何计算,就是这个对这个变量的导数,它可以帮你计算
,所以这是另一步反向传播计算。
现在我想介绍一个新的符号约定。当前编程实现反向传播时,通常会有一个最终输出值是你要关心的,最终的输出变量。你真正想要关心或者说优化的,在这种情况下,最终的输出变量是J,就是流程图里最后一个符号。所以有很多计算尝试,计算输出变量的导数,所以d输出变量,对某个变量的导数,我们就用d var命名。所以在很多计算中你需要计算最终输出结果的导数,在这个例子里是J,还有各种中间变量,比如a,b,c,u,v等。当你在软件里实现的时候,变量名叫什么呢?你可以做的一件事是,在python中,你可以写一个酣畅的变量名, 比如dFinalOutputVar除以dvar,但这个变量名有点长,我们就用dJdvar,但因为你一直对dJ求导,对这个最终输出变量求导,我们这里要介绍一个新的符号,在程序里,当你编程的时候,在代码里,我们就用变量名dvar来表示那个量。好,所以在程序里是dvar表示导数。你关心的最终变量J的导数,有时最后是L,对代码中各种中间量的导数,所以代码里这个东西,你用dv表示这个值,所以dv就等于3,你的代码表示就是da这也等于3。
好,所以我们通过这个流程图,部分完成的后向传播算法,我们将在下一张幻灯片看看这个例子剩下的部分。
我们清理出一张新的流程图。我们回顾以下,到目前为止,我们一直在往回传播,并计算出dv等于3。再次,dv的定义是,就是一个变量名,在代码里是。我们发现da=3,再次,da是代码里的变量名,其实代表
的值。大概手算了一下,两条线怎么计算反向传播。
好,我们继续计算导数,我们看看这个u值,那么是多少呢?通过之前类似的计算,现在我们从u=6出发,如果令u增加到6.001,那么v之前是11,现在变成了11.001了,J就从33变成了33.003了,所有J增加量是3倍,所以这就等于你对u的分析很类似对a的分析,实际上折计算起来就是
,有了这个,我们就可以算那个结果是3。所以我们还有一步反向传播,我们最终计算出du也等于3,这du当然就是
。
现在,我们仔细看看最后一个例子,呢?想象一下,如果你改变了b的值,你想要然后变化一点,让J值达到最大,那么导数是什么呢?这个J函数的斜率,当你稍微改变了b值之后,事实上,使用微积分的链式法则,这可以写成两者的乘积,
,如果你改变b 一点点,所以b 变成比如说3.001,它影响J的方式是,首先会影响u,它对u的影响有多大呢?u的定义是b*c,所以b=3时,这是是6,现在变成了6.002了,对吧,因为在我们的例子中,c等于2,所以这就告诉我们
等于2,当你让b增加0.001时,u就增加了2倍,所以
就等于2。现在我们想u已经增加量是b的两倍,那么
是多少呢?我们已经弄清楚了,这等于3,所以让这两部分相乘,我们发现
等于6。好,这就是推导。
第二部分的推导,其中,我们想知道u增加0.002会对J有什么影响?实际上等于3,这就告诉我们u增加0.002之后,J上升了3倍,那么J应该上升0.006对吧?这可以从
=3推导出来。如果你仔细看看这些数学内容,你会发现,如果b变成3.001,那么u就变成6.002,v变成11.002,所以这是a+u,这是5+u,然后J就等于3v,所以答案就是33.006。对吧,这就是如何得到
=6。为了填进去,如果我们反向走的话,这是db等于6,而db其实是python代码中的变量名,表示
。
如果你同时计算出,结果这是
*
,结果是9。在最后一步我们可以推出dc等于9。
所以,这个视频的要点是对于那个例子,当计算所有这些导数时,最有效的办法是,从右到左计算,跟着这个红色箭头走。特别是,当我们第一次计算对v的导数时,之后再计算对a的导数就可以用到。对u的导数,比如说,可以帮助计算对b的导数,然后对c的导数。所以这是一个计算流程图,就是正向或者说从左到右的计算来计算成本函数J,你可能需要优化的函数,然后反向从右到左计算导数。如果你不熟悉微积分或链式法则,也不用怕,在下一个视频中,我们会再过一遍,在逻辑回归的背景下过一遍,并给你们介绍需要做什么,才能编写代码,实现logistic回归模型中的导数计算。