吴恩达之神经网络和深度学习-2.6更多导数例子

计算图
神经网络中包含两种传播方式：正向传播和反向传播。
我们先通过画一个计算图来对正向传播进行解释：
首先定义一个三元变量函数
$J(a,b,c)=3(a+b*c)$，根据运算符优先原则，我们会先计算$b*c$，然后假设将$b*c$的值赋值给$u$，然后计算$a+u$,并将$a+u$的值赋值给$v$,然后计算$3*v$，最后得出函数值。以上是通过语言来对此三元函数的计算进行表述，下面我们将用一个流程图进行表达：

以上就是简单的正向传播示意图，下节课将介绍反向传播。
另外，向大家列出一些经常用到的函数求导公式：
$y=c(c是常数)\rightarrow{y'=0}$
$y=x^{n}\rightarrow{y'=nx^{n-1}}$
$y=ax+b\rightarrow{y'=a}$
$y=ax^2+bx+c\rightarrow{y'=2ax+b}$
$y=a^x\rightarrow{y'=lna*a^x}$
$y=e^x\rightarrow{y'=e^x}$
$y=log_{a}{x}\rightarrow{y'=\frac{1}{x*lna}}$
$y=lnx\rightarrow{y'=\frac{1}{x}}$
$y=sinx\rightarrow{y'=cosx}$
$y=cosx\rightarrow{y'=-sinx}$
$y=tanx\rightarrow{y'=\frac{1}{cos^2x}}$
$y=arcsinx\rightarrow{y'=\frac{1}{\sqrt{1-x^2}}}$
$y=cotx\rightarrow{y'=-\frac{1}{sin^2x}}$
$y=uv(uv都是函数)\rightarrow{y'=u'v+v'u}$
$y=\frac{u}{v}\rightarrow{\frac{(u'v-uv')}{v^2}}$
链式法则：
$y=f[g(x)]\rightarrow{y'=f'[g(x)]g'(x)}$