学习神经网络基础概念笔记（二）——BP算法

最新推荐文章于 2021-07-31 11:45:26 发布

VIP文章 shuyitingting

最新推荐文章于 2021-07-31 11:45:26 发布

阅读量740

点赞数

分类专栏：神经网络

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_38276778/article/details/107313810

版权

1985年，Rumelhart等人提出BP网络的误差反向传播（Back Propagation，BP）学习算法。主要思想是：对于n个输入学习样本 $(x_1,x_2,...,x_n)$ 已知与其对应的m个输出样本为 $(t_1,t_2,...,t_m)$ 之间的误差来修改其权值，使 $z_l(l=1,2,..,m)$ 与期望的 $t_l$ 尽可能的接近。

BP神经网络的学习过程主要由4个部分组成：输入模式顺传播、输出误差逆传播、循环记忆训练、学习结果判别。这个算法的学习过程由正向传播和逆向传播组成。在正向传播过程中，输入信息从输入层经隐藏层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到所期望的输出，则转入误差反向传播，将误差信号沿原来的连接通路返回，通过修饰各层神经元的权值，是的误差信号减小；然后转入正向传播过程。反复迭代，直到误差小于给定的值为止。

下面推导BP网络权值更新的公式：

设网络输入模式为 $x=(x_1,x_2,...,x_n)^T$ ，隐藏层有h个单元，隐藏层的输出为 $y=(y_1,y_2,...,y_h)^T$ ，输出层有m个单元，他们的输出为 $z=(z_1,z_2,...,z_m)^T$ ，目标输出为 $t=(t_1,t_2,...,t_m)^T$ ，从输入层到隐藏层的传递函数为 $f$ ，从隐藏层到输出层的传递函数为 $g$ 。于是可得：

$y_j=(\sum_{i=1}^n{w_{ij}x_i}-\theta)=f(\sum_{i=0}^n{w_{ij}x_i})$ ，

式中 $y_j$ 表示隐藏层第j个神经元的输出&#x

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
学习神经网络基础概念笔记（二）——BP算法

1985年，Rumelhart等人提出BP网络的误差反向传播（Back Propagation，BP）学习算法。主要思想是：
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。