机器学习：对于反向传播算法(backpropagation)的理解以及python代码实现

最新推荐文章于 2024-09-04 09:09:05 发布

Webbley

最新推荐文章于 2024-09-04 09:09:05 发布

阅读量3.6k

点赞数 2

分类专栏： Machine Learning 文章标签： python 神经网络机器学习 BP算法

本文链接：https://blog.csdn.net/liweibin1994/article/details/76221748

版权

本文深入解析神经网络中的反向传播算法，详细解释了δ的传播方式，并提供了Python代码示例来展示如何计算权重的偏导数。通过逐步分析，文章帮助读者理解从最后一层到任意一层的误差传播过程，并给出简单的神经网络训练实例。

摘要由CSDN通过智能技术生成

本文是对机器学习中遇到的后向传播算法进行理解，假设读者已经知道神经网络中的神经元的含义，激励函数的定义，也知道了后向传播算法那个传播公式等。本文主要是为了理解为什么后向传播算法中的 $\delta$ 是安照那个传播方式往后传播。

这里写图片描述

如上图，其中，L是神经网络的层数，a是神经元的输出， $\theta$ 是权重(参数)。
对于最后一层的神经元来说，偏差E我们可以很容易地定义：

E = 1 2 (a (L) 1 - y) 2

$E = \frac{1}{2}(a_{1}^{(L)}-y)^2$ 所以对

θ(L−1)11 $\theta_{11}^{(L-1)}$ 求偏导：

\partial E \partial θ ( L - 1 ) 11 = \partial E \partial a ( L ) 1 \cdot \partial a ( L ) 1 \partial z ( L ) 1 \cdot \partial z ( L ) 1 \partial θ ( L - 1 ) 11

$\frac{\partial{E}}{\partial{\theta_{11}^{(L-1)}}}=\frac{\partial{E}}{\partial{a_{1}^{(L)}}}\cdot \frac{\partial{a_{1}^{(L)}}}{\partial{z_{1}^{(L)}}}\cdot \frac{\partial{z_{1}^{(L)}}}{\partial{\theta_{11}^{(L-1)}}}$
其中，

z(L)1=a(L−1)1θ(L−1)11+a(L−1)2θ(L−1)12+...+a(L−1)Mθ(L−1)1M $z_{1}^{(L)} = a_{1}^{(L-1)}\theta_{11}^{(L-1)}+a_{2}^{(L-1)}\theta_{12}^{(L-1)}+...+a_{M}^{(L-1)}\theta_{1M}^{(L-1)}$

在这里， $\delta_{1}^{(L)} = \frac{\partial{E}}{\partial{a_{1}^{(L)}}}\cdot \frac{\partial{a_{1}^{(L)}}}{\partial{z_{1}^{(L)}}}$

所以， $\frac{\partial{E}}{\partial{\theta_{11}^{(L-1)}}}=\delta_{1}^{(L)}\cdot \frac{\partial{z_{1}^{(L)}}}{\partial{\theta_{11}^{(L-1)}}}=\delta_{1}^{(L)}\cdot a_{1}^{(L-1)}$