神经网络基本原理简明教程-0-基本函数导数公式

基本函数导数公式

Copyright © Microsoft Corporation. All rights reserved.
适用于License版权许可

更多微软人工智能学习资源，请见微软人工智能教育与学习共建社区

如何浏览本系列教程

由于里面包含了大量必要的数学公式，都是用LaTex格式编写的，所以：

1. 如果使用浏览器在线观看的话，可以使用Chrome浏览器，加这个Math展示控件

2. 也可以clone全部内容到本地，然后用VSCode浏览，但VSCode中需要安装能读取Markdown格式的扩展，比如Markdown Preview Enhanced.

这篇文章呢更多的是一些可能要用到的数学公式的推导，是一种理论基础，感兴趣的同学可以仔细瞅瞅，想直接上手的同学也可以直接跳过这一篇~

下面进入正题！站稳了别趴下！

1. $y=c$

$$y^{\prime }=0\text{\hspace{1em}(1)}$$
2. $y=x^a$

$$y^{\prime }=a{x}^{a-1}\text{\hspace{1em}(2)}$$

3. $y=lo{g}_{a}x$

$$y^{\prime }=\frac{1}{x}lo{g}_{a}e=\frac{1}{xlna}\text{\hspace{1em}(3)}$$
$$(因为lo{g}_{a}e=\frac{1}{lo{g}_{e}a}=\frac{1}{lna})$$

4. $y=lnx$

$$y^{\prime }=\frac{1}{x}\text{\hspace{1em}(4)}$$

5. $y=a^x$

$$y^{\prime }=a^{x}lna\text{\hspace{1em}(5)}$$

6. $y=e^x$

$$y^{\prime }=e^x\text{\hspace{1em}(6)}$$

7. $y=e^{-x}$

$$y^{\prime }=-e^{-x}\text{\hspace{1em}(7)}$$

8. 正弦函数$y=sin(x)$

$$y^{\prime }=cos(x)\text{\hspace{1em}(8)}$$

9. 余弦函数 $y=cos(x)$

$$y^{\prime }=-sin(x)\text{\hspace{1em}(9)}$$

10. 正切函数 $y=tg(x)$

$$y^{\prime }=se{c}^2(x)=\frac{1}{co{s}^{2}x}\text{\hspace{1em}(10)}$$

11. 余切函数 $y=ctg(x)$

$$y^{\prime }=-cs{c}^2(x)\text{\hspace{1em}(11)}$$

12. 反正弦函数 $y=arcsin(x)$

$$y^{\prime }=\frac{1}{\sqrt{1-x^2}}\text{\hspace{1em}(12)}$$

13. 反余弦函数 $y=arccos(x)$

$$y^{\prime }=-\frac{1}{\sqrt{1-x^2}}\text{\hspace{1em}(13)}$$

14. 反正切函数 $y=arctan(x)$

$$y^{\prime }=\frac{1}{1+x^2}\text{\hspace{1em}(14)}$$

15. 反余切函数 $y=arcctg(x)$

$$y^{\prime }=-\frac{1}{1+x^2}\text{\hspace{1em}(15)}$$

16. 双曲正弦函数 $y=sinh(x)=(e^x-e^{-x})/2$

$$y^{\prime }=cosh(x)\text{\hspace{1em}(16)}$$

17. 双曲余弦函数 $y=cosh(x)=(e^x+e^{-x})/2$

$$y^{\prime }=sinh(x)\text{\hspace{1em}(17)}$$

18. 双曲正切函数$y=tanh(x)=(e^x-e^{-x})/(e^x+e^{-x})$

$$y^{\prime }=sec{h}^2(x)=1-tan{h}^2(x)\text{\hspace{1em}(18)}$$

19. 双曲余切函数$y=coth(x)=(e^x+e^{-x})/(e^x-e^{-x})$

$$y^{\prime }=-csc{h}^2(x)\text{\hspace{1em}(19)}$$

20. 双曲正割函数$y=sech(x)=2/(e^x+e^{-x})$

$$y^{\prime }=-sech(x)\ast tanh(x)\text{\hspace{1em}(20)}$$

21. 双曲余割函数$y=csch(x)=2/(e^x-e^{-x})$

$$y^{\prime }=-csch(x)\ast coth(x)\text{\hspace{1em}(21)}$$

导数四则运算

30. $$[u(x)+v(x)]’=u’(x)+v’(x)\text{\hspace{1em}(30)}$$
31. $$[u(x)-v(x)]’=u’(x)-v’(x)\text{\hspace{1em}(31)}$$
32. $$[u(x)\ast v(x)]’=u’(x)\ast v(x)+v’(x)\ast u(x)\text{\hspace{1em}(32)}$$
33. $$[\frac{u(x)}{v(x)}{]}^{\prime }=\frac{u^{\prime }(x)v(x)-v^{\prime }(x)u(x)}{v^2(x)}\text{\hspace{1em}(33)}$$

偏导数

34. 如$Z=f(x,y)$

则Z对x的偏导可以理解为当y是个常数时，Z单独对x求导：

$$Z_x^{\prime }=f_x^{\prime }(x,y)=\frac{\partial Z}{\partial x}\text{\hspace{1em}(40)}$$

则Z对y的偏导可以理解为当x是个常数时，Z单独对y求导：

$$Z_y^{\prime }=f_y^{\prime }(x,y)=\frac{\partial Z}{\partial y}\text{\hspace{1em}(41)}$$

在二元函数中，偏导的何意义，就是对任意的$y=y_0$的取值，在二元函数曲面上做一个$y=y_0$切片，得到$Z=f(x,y_0)$的曲线，这条曲线的一阶导数就是Z对x的偏导。对$x=x_0$同样，就是Z对y的偏导。

复合函数求导（链式法则）

35. 如果 $y=f(u),u=g(x)$ 则

$$y_x^{\prime }=f^{\prime }(u)\cdot u^{\prime }(x)=y_u^{\prime }\cdot u_x^{\prime }=\frac{dy}{du}\cdot \frac{du}{dx}\text{\hspace{1em}(50)}$$

36. 如果$y=f(u),u=g(v),v=h(x)$ 则

$$\frac{dy}{dx}=f^{\prime }(u)\cdot g^{\prime }(v)\cdot h^{\prime }(x)=\frac{dy}{du}\cdot \frac{du}{dv}\cdot \frac{dv}{dx}\text{\hspace{1em}(51)}$$

37. 如$Z=f(U,V)$，通过中间变量$U=g(x,y),V=h(x,y)$成为x,y的复合函数$Z=f[g(x,y),h(x,y)]$
    则

$$\frac{\partial Z}{\partial x}=\frac{\partial Z}{\partial U}\cdot \frac{\partial U}{\partial x}+\frac{\partial Z}{\partial V}\cdot \frac{\partial V}{\partial x}\text{\hspace{1em}(52)}$$

$$\frac{\partial Z}{\partial y}=\frac{\partial Z}{\partial U}\ast \frac{\partial U}{\partial y}+\frac{\partial Z}{\partial V}\ast \frac{\partial V}{\partial y}$$

矩阵求导

如$A,B,X$都是矩阵，
则

$$B\frac{\partial (AX)}{\partial X}=A^{T}B\text{\hspace{1em}(60)}$$

$$B\frac{\partial (XA)}{\partial X}=B{A}^T\text{\hspace{1em}(61)}$$

$$\frac{\partial (X^{T}A)}{\partial X}=\frac{\partial (A^{T}X)}{\partial X}=A\text{\hspace{1em}(62)}$$

$$\frac{\partial (A^{T}XB)}{\partial X}=A{B}^T\text{\hspace{1em}(63)}$$

$$\frac{\partial (A^T{X}^{T}B)}{\partial X}=B{A}^T,\frac{d{X}^{T}AX}{dX}=(A+A^T)X\text{\hspace{1em}(64)}$$

$$\frac{d{X}^T}{dX}=I,\frac{dX}{d{X}^T}=I,\frac{d{X}^{T}X}{dX}=2X\text{\hspace{1em}(65)}$$

$$\frac{du}{d{X}^T}=(\frac{d{u}^T}{dX}{)}^T$$

$$\frac{d{u}^{T}v}{dx}=\frac{d{u}^T}{dx}v+\frac{d{v}^T}{dx}{u}^T,\frac{du{v}^T}{dx}=\frac{du}{dx}{v}^T+u\frac{d{v}^T}{dx}\text{\hspace{1em}(66)}$$

$$\frac{dAB}{dX}=\frac{dA}{dX}B+A\frac{dB}{dX}\text{\hspace{1em}(67)}$$

$$\frac{d{u}^{T}Xv}{dx}=u{v}^T,\frac{d{u}^T{X}^{T}Xu}{dX}=2Xu{u}^T\text{\hspace{1em}(68)}$$

$$\frac{d[(Xu-v{)}^T(Xu-v)]}{dX}=2(Xu-v)u^T\text{\hspace{1em}(69)}$$

激活函数求导

sigmoid函数：$A=\frac{1}{1+e^{-Z}}$

利用公式33，令：$u=1，v=1+e^{-Z}$ 则

$$A_z^{\prime }=\frac{u^{\prime }v-v^{\prime }u}{v^2}=\frac{0-(1+e^{-z}{)}^{\prime }}{(1+e^{-z}{)}^2}\text{\hspace{1em}(70)}$$
$$=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1+e^{-z}-1}{(1+e^{-z}{)}^2}$$
$$=\frac{1}{1+e^{-z}}-(\frac{1}{1+e^{-z}}{)}^2$$
$$=A-A^2=A(1-A)$$

tanh函数：$A=\frac{e^Z-e^{-Z}}{e^Z+e^{-Z}}$

利用公式23，令：$u=e^Z-e^{-Z}，v=e^Z+e^{-Z}$ 则

$$A_Z^{\prime }=\frac{u^{\prime }v-v^{\prime }u}{v^2}\text{\hspace{1em}(71)}$$
$$=\frac{(e^Z-e^{-Z}{)}^{\prime }(e^Z+e^{-Z})-(e^Z+e^{-Z}{)}^{\prime }(e^Z-e^{-Z})}{(e^Z+e^{-Z}{)}^2}$$
$$=\frac{(e^Z+e^{-Z})(e^Z+e^{-Z})-(e^Z-e^{-Z})(e^Z-e^{-Z})}{(e^Z+e^{-Z}{)}^2}$$
$$=\frac{(e^Z+e^{-Z}{)}^2-(e^Z-e^{-Z}{)}^2}{(e^Z+e^{-Z}{)}^2}$$
$$=1-(\frac{(e^Z-e^{-Z}}{e^Z+e^{-Z}}{)}^2=1-A^2$$

反向传播四大公式推导

著名的反向传播四大公式是：

$${\delta }^L={\nabla }_{a}C\odot {\sigma }_{{}^{\prime }}(Z^L)\text{\hspace{1em}(80)}$$
$${\delta }^l=((W^{l+1}{)}^T{\delta }^{l+1})\odot {\sigma }_{{}^{\prime }}(Z^l)\text{\hspace{1em}(81)}$$
$$\frac{\partial C}{\partial b_j^l}={\delta }_j^l\text{\hspace{1em}(82)}$$
$$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}{\delta }_j^l\text{\hspace{1em}(83)}$$

下面我们用一个简单的两个神经元的全连接神经网络来直观解释一下这四个公式，

每个结点的输入输出标记如图上所示，使用MSE作为计算loss的函数，那么可以得到这张计算图中的计算过公式如下所示：

$$e_{01}=\frac{1}{2}(y-a_1^3{)}^2$$
$$a_1^3=sigmoid(z_1^3)$$
$$z_1^3=(w_{11}^2\cdot a_1^2+w_{12}^2\cdot a_2^2+b_1^3)$$
$$a_1^2=sigmoid(z_1^2)$$
$$z_1^2=(w_{11}^1\cdot a_1^1+w_{12}^1\cdot a_2^1+b_1^2)$$

我们按照反向传播中梯度下降的原理来对损失求梯度，计算过程如下：

$$\frac{\partial e_{o1}}{\partial w_{11}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial w_{11}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{a}_1^2$$

$$\frac{\partial e_{o1}}{\partial w_{12}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial w_{12}^2}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{a}_2^2$$

$$\frac{\partial e_{o1}}{\partial w_{11}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_1^2}\frac{\partial a_1^2}{\partial z_1^2}\frac{\partial z_1^2}{\partial w_{11}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_1^2}\frac{\partial a_1^2}{\partial z_1^2}{a}_1^1$$

$$=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{w}_{11}^2\frac{\partial a_1^2}{\partial z_1^2}{a}_1^1$$

$$\frac{\partial e_{o1}}{\partial w_{12}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_2^2}\frac{\partial a_2^2}{\partial z_1^2}\frac{\partial z_1^2}{\partial w_{12}^1}=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}\frac{\partial z_1^3}{\partial a_2^2}\frac{\partial a_2^2}{\partial z_1^2}{a}_2^2$$

$$=\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}{w}_{12}^2\frac{\partial a_2^2}{\partial z_1^2}{a}_2^2$$

上述式中，$\frac{\partial a}{\partial z}$是激活函数的导数，即${\sigma }^{{}^{\prime }}(z)$项。观察到在求偏导数过程中有共同项$\frac{\partial e_{o1}}{\partial a_1^3}\frac{\partial a_1^3}{\partial z_1^3}$,采用$\delta$符号记录,用矩阵形式表示，
即：

$${\delta }^L=[\frac{\partial e_{o1}}{\partial a_i^L}\frac{\partial a_i^L}{\partial z_i^L}]={\nabla }_{a}C\odot {\sigma }^{{}^{\prime }}(Z^L)$$

上述式中，$[a_i]$表示一个元素是a的矩阵，${\nabla }_{a}C$表示将损失$C$对$a$求梯度，$\odot$表示矩阵element wise的乘积（也就是矩阵对应位置的元素相乘）。

从上面的推导过程中，我们可以得出$\delta$矩阵的递推公式：

$${\delta }^{L-1}=(W^L{)}^T[\frac{\partial e_{o1}}{\partial a_i^L}\frac{\partial a_i^L}{\partial z_i^L}]\odot {\sigma }^{{}^{\prime }}(Z^{L-1})$$

所以在反向传播过程中只需要逐层利用上一层的${\delta }^l$进行递推即可。

相对而言，这是一个非常直观的结果，这份推导过程也是不严谨的。下面，我们会从比较严格的数学定义角度进行推导，首先要补充一些定义。

标量对矩阵导数的定义

假定$y$是一个标量，$X$是一个$N\times M$大小的矩阵，有$y=f(X)$， $f()$是一个函数。我们来看$df$应该如何计算。

首先给出定义：

$$df=\sum _j^M\sum _i^N\frac{\partial f}{\partial x_{ij}}d{x}_{ij}$$

下面我们引入矩阵迹的概念，所谓矩阵的迹，就是矩阵对角线元素之和。也就是说：

$$tr(X)=\sum _i{x}_{ii}$$

引入迹的概念后，我们来看上面的梯度计算是不是可以用迹来表达呢？

$$\frac{\partial f}{\partial X}=\left(\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}& \dots & \frac{\partial f}{\partial x_{1M}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}& \dots & \frac{\partial f}{\partial x_{2M}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial x_{N1}}& \frac{\partial f}{\partial x_{N2}}& \dots & \frac{\partial f}{\partial x_{NM}}\end{array}\right)\text{\hspace{1em}(90)}$$

$$dX=\left(\begin{array}{cccc}d{x}_{11}& d{x}_{12}& \dots & d{x}_{1M}\\ d{x}_{21}& d{x}_{22}& \dots & d{x}_{2M}\\ ⋮& ⋮& \ddots & ⋮\\ d{x}_{N1}& d{x}_{N2}& \dots & d{x}_{NM}\end{array}\right)\text{\hspace{1em}(91)}$$

我们来看矩阵$(90)$的转置和矩阵$(91)$乘积的对角线元素

$$((\frac{\partial f}{\partial X}{)}^{T}dX{)}_{jj}=\sum _i^N\frac{\partial f}{\partial x_{ij}}d{x}_{ij}$$

因此，

$$tr({(\frac{\partial f}{\partial X})}^{T}dX)=\sum _j^M\sum _i^N\frac{\partial f}{\partial x_{ij}}d{x}_{ij}=df=tr(df)\text{\hspace{1em}(92)}$$

上式的最后一个等号是因为$df$是一个标量，标量的迹就等于其本身。

矩阵迹和导数的部分性质

这里将会给出部分矩阵的迹和导数的性质，作为后面推导过程的参考。性子急的同学可以姑且默认这是一些结论。

$$d(X+Y)=dX+dY\text{\hspace{1em}(93)}$$
$$d(XY)=(dX)Y+X(dY)\text{\hspace{1em}(94)}$$
$$d{X}^T={(dX)}^T\text{\hspace{1em}(95)}$$
$$d(tr(X))=tr(dX)\text{\hspace{1em}(96)}$$
$$d(X\odot Y)=dX\odot Y+X\odot dY\text{\hspace{1em}(97)}$$
$$d(f(X))=f^{{}^{\prime }}(X)\odot dX\text{\hspace{1em}(98)}$$
$$tr(XY)=tr(YX)\text{\hspace{1em}(99)}$$
$$tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)\text{\hspace{1em}(100)}$$

以上各性质的证明方法类似，我们选取式(94)作为证明的示例：

$$Z=XY$$

则Z中的任意一项是

$$z_{ij}=\sum _k{x}_{ik}{y}_{kj}$$
$$d{z}_{ij}=\sum _{k}d(x_{ik}{y}_{kj})$$
$$=\sum _k(d{x}_{ik})y_{kj}+\sum _k{x}_{ik}(d{y}_{kj})$$
$$=d{X}_{ij}\cdot Y_{ij}+X_{ij}\cdot d{Y}_{ij}$$
从上式可见，$dZ$的每一项和$(dX)Y+X(dY)$的每一项都是相等的。因此，可以得出式(94)成立。

神经网络有关公式证明:

• 首先，来看一个通用情况，已知$f=A^{T}XB$，$A,B$是常矢量，希望得到$\frac{\partial f}{\partial X}$，推导过程如下

  根据式(94)，

  $$df=d(A^{T}XB)=d(A^{T}X)B+A^{T}X(dB)=d(A^{T}X)B+0=d(A^T)XB+A^{T}dXB=A^{T}dXB$$

  由于$df$是一个标量，标量的迹等于本身，同时利用公式(99):

  $$df=tr(df)=tr(A^{T}dXB)=tr(B{A}^{T}dX)$$

  由于公式(92):

  $$tr(df)=tr({(\frac{\partial f}{\partial X})}^{T}dX)$$

  可以得到:

  $$(\frac{\partial f}{\partial X}{)}^T=B{A}^T$$
  $$\frac{\partial f}{\partial X}=A{B}^T\text{\hspace{1em}(101)}$$

• 我们来看全连接层的情况：

  $$Y=WX+B$$

  取全连接层其中一个元素

  $$y=wX+b$$

  这里的$w$是权重矩阵的一行，尺寸是$1\times M$，X是一个大小为$M\times 1$的矢量，y是一个标量，若添加一个大小是1的单位阵，上式整体保持不变：

  $$y=(w^T{)}^{T}XI+b$$

  利用式(92)，可以得到

  $$\frac{\partial y}{\partial X}=I^T{w}^T=w^T$$

  因此在误差传递的四大公式中，在根据上层传递回来的误差$\delta$继续传递的过程中，利用链式法则，有

  $${\delta }^{L-1}=(W^L{)}^T{\delta }^L\odot {\sigma }^{{}^{\prime }}(Z^{L-1})$$

  同理，若将$y=wX+b$视作：

  $$y=IwX+b$$

  那么利用式(92),可以得到：

  $$\frac{\partial y}{\partial w}=X^T$$

• 使用softmax和交叉熵来计算损失的情况下：

  $$l=-Y^{T}log(softmax(Z))$$

  式中，$y$是数据的标签，$Z$是网络预测的输出，$y$和$Z$的维度是$N\times 1$。经过softmax处理作为概率。希望能够得到$\frac{\partial l}{\partial Z}$，下面是推导的过程：

  $$softmax(Z)=\frac{exp(Z)}{1^{T}exp(Z)}$$

  其中， $1$是一个维度是$N\times 1$的全1向量。将softmax表达式代入损失函数中，有

  $$\begin{gathered} dl=-Y^{T}d(log(softmax(Z))) \\ =-Y^{T}d(log\frac{exp(Z)}{1^{T}exp(Z)}) \\ =-Y^{T}dZ+Y^{T}1d(log(1^{T}exp(Z)))\text{\hspace{1em}(102)} \end{gathered}$$

  下面来化简式(102)的后半部分,利用式(98)：

  $$d(log(1^{T}exp(Z)))=lo{g}^{{}^{\prime }}(1^{T}exp(Z))\odot dZ=\frac{1^T(exp(Z)\odot dZ)}{1^{T}exp(Z)}$$

  利用式(100)，可以得到

  $$tr(Y^{T}1\frac{1^T(exp(Z)\odot dZ)}{1^{T}exp(Z)})=tr(Y^{T}1\frac{(1\odot (exp(Z){)}^{T}dZ)}{1^{T}exp(Z)})$$
  $$=tr(Y^{T}1\frac{exp(Z{)}^{T}dZ}{1^{T}exp(Z)})=tr(Y^{T}1softmax(Z{)}^{T}dZ)\text{\hspace{1em}(103)}$$

  将式(103)代入式(102)并两边取迹，可以得到：

  $$dl=tr(dl)=tr(-y^{T}dZ+y^{T}1softmax(Z{)}^{T}dZ)=tr((\frac{\partial l}{\partial Z}{)}^{T}dZ)$$

  在分类问题中，一个标签中只有一项会是1，所以$Y^{T}1=1$，因此有

  $$\frac{\partial l}{\partial Z}=softmax(Z)-Y$$

  这也就是在损失函数中计算反向传播的误差的公式。

参考资料

矩阵求导术
点击这里学习更多神经网络基本课程
点击这里提交问题与建议
联系我们: msraeduhub@microsoft.com
学习了这么多，还没过瘾怎么办？欢迎加入“微软 AI 应用开发实战交流群”，跟大家一起畅谈AI，答疑解惑。扫描下方二维码，回复“申请入群”，即刻邀请你入群。