神经网络——BP学习算法：反向传播算法推导

最新推荐文章于 2023-05-04 15:13:21 发布

消失一年

最新推荐文章于 2023-05-04 15:13:21 发布

阅读量1.5k

点赞数 6

分类专栏：机器学习文章标签：神经网络人工智能机器学习 BP学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_42294351/article/details/120546465

版权

机器学习专栏收录该内容

4 篇文章 2 订阅

订阅专栏

参考书籍：人工智能及其应用（第三版）王万良

一、推导步骤

输入层的神经元的输入输出关系一般是线性函数
隐层( $k$ )中神经元的输入输出关系一般是非线性函数

$k$ 与输出层中各个神经元的非线性输入输出关系记为 $f_{k}$

第 $k-1$ 层的第 $j$ 个神经元到第 $k$ 层的第 $i$ 个神经元的连接权值为 $w_{ij}^{k}$ 。

$k$ 层中第 $i$ 个神经元输入的总和为 $u_{i}^{k}$ ，输出为 $y_{i}^{k}$

综上各变量之间的关系为式1

BP学习算法是通过反向学习过程使误差最小，其目标函数为式2

$p_{m}$ ：输出层神经元个数

$y_{j}^{m}$ ：实际输出

$y_{sj}$ ：期望输出

取平方项是为了避免值抵消，乘1/2是因为要求导抵消²

式2 即是求期望输出与实际输出之差的平方和最小。就是求 $J$ 的极小值。约束条件就是式1。因为要求极小值，所以需要对 $J$ 求导，即神经网络权值的修正量为式3

为什么要对 $w_{ij}^{k-1}$ 求导呢？因为 $y_{j}^{m}$ - $y_{sj}$ = $w_{ij}^{k-1}$ 。 $w_{ij}^{k-1}$ 由式1可以知道是第 $k-2$ 层的第 $j$ 个神经元到第 $k-1$ 层的第 $i$ 个神经元的连接权值。要使连接权值最小所以对他求导。乘以- $\varepsilon$ 是因为目标函数是沿着负梯度方向改变的。

下面是推导BP学习算法的完整过程：

先求 $\frac{\partial J}{\partial w_{ij}^{k-1}}$

因为 $w_{ij}^{k-1}$ 在式1 中的 $u_{i}^{k}$ 里面，所以采用链式求导得到式4

则式3 变为式5

接下来开始推导 $d_{i}^{k}$ 得到式6

下面分两种情况求 $\frac{\partial J}{\partial y_{i}^{k}}$

①对输出层（第m层）的神经元，即 $k=m$ ， $y_{i}^{k}=y_{i}^{m}$ ，有误差定义式得

②若 $i$ 为隐单元层 $k$ ，则有

综上所述，BP学习算法可以归纳为

若取 $f_{k}(\cdot )$ 为 $S$ 型函数，即（式1有给出）

则

BP学习算法可以归纳为

二、举个栗子

莫得答案，自己写的，也不晓得对不对，可以参考参考。。。

关注

6
点赞
踩
31

收藏

觉得还不错? 一键收藏
打赏
5
评论
神经网络——BP学习算法：反向传播算法推导

参考书籍：人工智能及其应用（第三版）王万良输入层的神经元的输入输出关系一般是线性函数隐层(k)中神经元的输入输出关系一般是非线性函数k与输出层中各个神经元的非线性输入输出关系记为BP学习算法是通过反向学习过程使误差最小，其目标函数为...
复制链接

扫一扫

专栏目录

评论 5

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

消失一年 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。