后向传播(backpropagtion)求导详解

博客主要内容讲解来自于网易课堂:斯坦福cs231n

————————–下面是一篇特别偷懒的博客————————–

求微分有两种方法,可以通过改变变量的值,如$x->x+\theta$,也可以直接求导求出微分.

numerical gradient

$\frac{d}{dx}f(x)= lim_{\theta->0}\frac{f(x+\theta)-f(x)}{\theta}$

这种方法的优点是发生错误的概率比较小,较为精确,但是缺点是在参数量特别大的时候,计算很慢.

analytic gradient&gradient check

这种方法的优点是很快.但是由于式子较复杂,容易出现错误.所以就结合两者进行梯度检验.选择部分数据,分别求两种积分,看看是否相等.(当然只有第一次需要判断代码是否正确,如果正确就可以讲梯度检验的代码删除.)

back propagation

本来想着详细写的,后来发现画图真的是太麻烦啦…latex在画图上真的不太会,所以如果你想知道这个后向传播的过程,就去看一下上面这个课程对应的章节,你会发现他讲的真不错,下面贴一下我的手稿,以后要是当老师啦.我一定会好好准备这个细节内容.哈哈哈哈…

———2017.3.29