机器学习多层感知机梯度推导

机器学习多层感知机梯度推导

在我的前一篇文章中，已经推导出了单层感知机梯度的计算公式
单层感知机梯度推导

$$\frac{{\phi }_E}{{\phi }_{w_{j_0}}}=(O-t)\sigma (x_0^1))(1-\sigma (x_0^1)))x_j^0$$

激活函数不变：
$$sigmoid=\frac{1}{1+e^{-x}}$$
激活函数求导：
$$\begin{gathered} sigmoi{d}^{\prime }=\sigma (x)(1-\sigma (x)) \\ (具体过程参照上面链接) \end{gathered}$$
损失函数：MSE
$$E=\frac{1}{2}{\Sigma }_{i=0}^m(O_k-t_k{)}^2$$
多层感知机：

$$\begin{gathered} 设置前一层对后一层的权值为W{}_j{}_k \\ j为前一层的结点位置，k为后一层的结点位置，如图： \end{gathered}$$

$$即求解\frac{{\phi }_E}{{\phi }_{W_{j_k}}}$$
$$\frac{{\phi }_E}{{\phi }_{W_{j_k}}}=\frac{\phi \frac{1}{2}{\Sigma }_{i=0}^m(O_k-t_k{)}^2}{{\phi }_{W_{j_k}}}$$
$$\begin{gathered} 只有当i=k时导数不为0所以 \\ \frac{{\phi }_E}{{\phi }_{W_{j_k}}}=\frac{\phi \frac{1}{2}(O_k-t_k{)}^2}{{\phi }_{W_{j_k}}} \end{gathered}$$
$$\begin{gathered} 例如(0_0-t_0{)}^2+(0_1-t_1{)}^2对W{}_0{}_1求导从图中可以看出 \\ W{}_0{}_1对(0_0-t_0{)}^2并没有贡献所以相当于常数项求导 \end{gathered}$$
$$\frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(O_k-t_k)\frac{\phi O_k}{{\phi }_{W_{j_k}}}$$
$$\sigma (x)=O_k$$
$$\frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(O_k-t_k)\frac{\phi \sigma (x_k^1)}{{\phi }_{W_{j_k}}}$$
$$\begin{gathered} 这里使用链式法则 \\ \frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(O_k-t_k)\frac{\phi \sigma (x_k^1)}{\phi x_k^1}\frac{\phi x_k^1}{{\phi }_{W_{j_k}}} \end{gathered}$$
$$\begin{gathered} 结合前面的对激活函数求导公式: \\ \frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(O_k-t_k)\sigma (x_k^1)(1-\sigma (x_k^1))\frac{\phi x_k^1}{{\phi }_{W_{j_k}}} \end{gathered}$$
$$\frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(O_k-t_k)O_k(1-O_k)\frac{\phi ({\Sigma }_{i=0}^n{x}_j^{0}W{}_j{}_k)}{{\phi }_{W_{j_k}}}$$
$$\begin{gathered} 这里同单层感知机一样,导数部分结果为W_j^0 \\ 所以最终结果为：\frac{{\phi }_E}{{\phi }_{W_{j_k}}}=(O_k-t_k)O_k(1-O_k)x_j^0 \end{gathered}$$
$$\begin{gathered} 其实，这里不光是完成了一次多层感知器梯度的求导，也是完成了一次反向传播的求解。 \\ 这里我们知道了O_k,t_k,W_j^0来更新W{}_j{}_k,不这是通过结果反过来更新梯度吗 \end{gathered}$$
注：以上图片素材来源龙良曲老师的tensorflow课程讲解