机器学习反向传播梯度求导

机器学习反向传播梯度推导

在我的前一篇文章中，已经推导出了单层感知机梯度的计算公式
多层感知机梯度推导

$$\frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(0_k-t_k)0_k(1-0_k)W_j^0$$
1. 链式法则：
$$\frac{\phi f(x)}{\phi g(x)}=\frac{\phi f(x)}{\phi h(x)}\frac{\phi h(x)}{\phi g(x)}$$

$$\frac{{\phi }_E}{{\phi }_{W_{j_k}^1}}=\frac{{\phi }_E}{{\phi }_{W_{j_k}^2}}\frac{{\phi }_{W_{j_k}^2}}{{\phi }_{W_{j_k}^1}}$$

2. bpnn推导：

$$注:\Sigma ,\sigma 为激活函数，同时O_j^J=\sigma (x_j^J)$$

$$所以：\frac{{\phi }_E}{{\phi }_{W_{j_k}^K}}=(O_k^K-t_k)O_k^K(1-O_k^K)O_j^J$$
$$\frac{{\phi }_E}{{\phi }_{W_{j_k}^K}}=(O_k^K-t_k){\delta }_k{O}_j^J$$
$$\begin{gathered} 那么现在的关键就是求出\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}以及找出下一层 \\ 权值梯度与上一层权值梯度的关系,依次迭代 \end{gathered}$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=\frac{\phi \frac{1}{2}{\Sigma }_{i=0}^m(O_k^K-t_k{)}^2}{{\phi }_{W_{i_j}^J}}$$
$$对W_{i_j}^J的导数有影响的只有O_k^K,所以：$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=\frac{\phi \frac{1}{2}(O_k^K-t_k{)}^2}{{\phi }_{W_{i_j}^J}}$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k)\frac{\phi O_k^K}{{\phi }_{W_{i_j}^J}}$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k)\frac{\phi \sigma (x_k^K)}{{\phi }_{W_{i_j}^J}}$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k)O_k^K(1-O_k^K)\frac{{\phi }_{x_k^K}}{{\phi }_{W_{i_j}^J}}$$
$$使用链式法则：\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k)O_k^K(1-O_k^K)\frac{{\phi }_{x_k^K}}{{\phi }_{O_j^J}}\frac{{\phi }_{O_j^J}}{{\phi }_{W_{i_j}^J}}$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k){\delta }_k^K{W}_{j_k}\frac{{\phi }_{O_j^J}}{{\phi }_{W_{i_j}^J}}$$
$$\frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k){\delta }_k^K{W}_{j_k}\frac{{\phi }_{\sigma (x_j^J)}}{{\phi }_{W_{i_j}^J}}$$
$$\begin{gathered} 类似于上一层推导： \\ \frac{{\phi }_E}{{\phi }_{W_{i_j}^J}}=(O_k^K-t_k){\delta }_k^K{W}_{j_k}{\delta }_j^J{x}_j^0 \end{gathered}$$
神经网络计算过程：

1. 通过前向传播计算出训练结果
2. 将训练结果通过反向传播作用于梯度下降