BP算法推导

例子1：

此例子是一个多分类问题

解：

首先有如下结论：

$$E_k=\frac{1}{2}\sum _{k=1}^n(z_k-f_k(x_k){)}^2$$

$$z_k=\sum _{i=1,j=1}^{3,2}{y}_i{v}_{ij}$$

$$\frac{\partial E_k}{\partial z_k}=z_k-f_k$$

$$错误：E_k=S(\sum _{i=1}^n{z}_i)=S(\sum _{i=1}^n\sum _{j=1}^n{v}_{ij}{y}_{ij})$$
并且可手动推导验证如下公式：
$$s^{\prime }(u)=s(u)(1-s(u))$$

$E_k$对$v_{11}$的偏导数只跟$z_1$有关，跟$z_2$无关。同时，$z_1$对$v_{11}$的偏导数只跟$y_1$和$v_{11}$有关，跟$y_2$,$y_3$，$v_{21}$,$v_{12}$,$v_{21}$等都无关。

$$\begin{gathered} \frac{\partial E_k}{\partial v_{11}}=\frac{\partial E_k}{\partial z_1}\frac{\partial z_1}{\partial v_{11}}=(z_1-f_1)s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij}{)}^{\prime }= \\ (z_1-f_1)s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij})(1-s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij}))y_1=(z_1-f_1)z_1(1-z_1)y_1 \end{gathered}$$

$$\begin{gathered} \frac{\partial E_k}{\partial v_{21}}=\frac{\partial E_k}{\partial z_2}\frac{\partial z_2}{\partial v_{21}}=(z_2-f_2)s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij}{)}^{\prime }= \\ (z_2-f_2)s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij})(1-s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij})y_1{v}_{11}=(z_2-f_2)z_2(1-z_2)y_1 \end{gathered}$$

$$\begin{gathered} \frac{\partial E_k}{\partial u_{11}}=\frac{\partial E_k}{\partial z_2}\frac{\partial z_2}{\partial y_1}\frac{\partial y_1}{\partial x_1}+\frac{\partial E_k}{\partial z_1}\frac{\partial z_1}{\partial y_1}\frac{\partial y_1}{\partial x_1}= \\ (z_2-f_2)s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij}{)}^{\prime }+(z_1-f_1)s(\sum _{i=1,j=1}^{3,2}{y}_{ij}{v}_{ij}{)}^{\prime }= \\ (z_2-f_2)z_2(1-z_2)v_{21}{y}_1(1-y_1)x1+(z_1-f_1)z_1(1-z_1)v_{11}{y}_1(1-y_1)x_1 \end{gathered}$$

例子2：

此例子是一个二分类问题

解：

首先注意到，本轮训练的样本为[(2,3),0]，也就是说，样本为(2,3)，输出为0

其次，所有的对数默认为底数是自然对数e，且$L(a,y{)}^{\prime }=[-y\ln a-(1-y)\ln )1-a){]}^{\prime }=\frac{-y}{a}-\frac{-(1-y)}{1-a}=\frac{-y}{a}+\frac{1-y}{1-a}$ （将y看作常数对a求导）

第一次学习过程：

$$z=\sum _{i=1}^2{w}_i{x}_i+b=0.6+1.2+1=2.8$$

$$a=\frac{1}{1+e^{-z}}=0.94$$

$$L(a,y){|}_{y=0}=-\ln (1-a)=2.8$$

第一次结束后，利用反向求导公式求导：

$$\begin{gathered} \frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial a}\frac{\partial a}{\partial z}\frac{\partial z}{\partial w_1}= \\ (\frac{-y}{a}+\frac{1-y}{1-a})a(1-a)x_1=1.8 \end{gathered}$$

$$\begin{gathered} \frac{\partial L}{\partial w_2}=\frac{\partial L}{\partial a}\frac{\partial a}{\partial z}\frac{\partial z}{\partial w_1}= \\ (\frac{-y}{a}+\frac{1-y}{1-a})a(1-a)x_2=2.8 \end{gathered}$$

$$\begin{gathered} \frac{\partial L}{\partial b}=\frac{\partial L}{\partial a}\frac{\partial a}{\partial z}= \\ (\frac{-y}{a}+\frac{1-y}{1-a})a(1-a)=0.9 \end{gathered}$$

利用梯度下降算法修正w参数的值：

$$w_1=w_1-w_1\ast \eta {\nabla }_{w_1}=0.11$$

$$w_2=w_2-w_2\ast \eta {\nabla }_{w_2}=0.12$$

$$b=b-b\ast \eta {\nabla }_b=0.09$$

此处需要避免的错误是，梯度下降算法减去的是学习率乘以梯度，而不是x值乘以学习率乘以梯度，一定要理解清楚，不要稀里糊涂。

例子3：

解答：