标准BP算法和累计BP算法的区别

最新推荐文章于 2024-07-22 12:48:52 发布
最新推荐文章于 2024-07-22 12:48:52 发布
阅读量4.6k 收藏 2
点赞数
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34496399/article/details/104464079
版权

引用机器学习书上的解释:　　

　　累积 BP 算法与标准 BP 算法都很常用.一般来说，标准 BP 算法每次更新只针对单个样例?参数更新得非常频繁，而且对不同样例进行更新的效果可能出现"抵消"现象.因此，为了达到同样的累积误差极小点 标准 BP 算法往往需进行更多次数的法代.累积 BP 算法直接针对累积误差最小化，它在 卖取整个训练集 一遍后才对参数进行更新，其参数更新的频率低得多.但在很多任务中，累积误差下降到一定程度之后，进一步下降会非常缓慢，这时标准 BP 往往会更快获得较好的解，尤其是在训练非常大时更明显.

　　标准 BP 算法和累积 BP算法的区别类似于随机梯度下降(stochastic gradient descent ，简称 SGD) 与标准梯度下降之间的区别.

 

qq_34496399
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
西瓜书5.5 编程实现BP神经网络——标准BP算法、累积BP算法
世靖的码场
01-19 1万+
这里照着书上的公式，实现了一下标准BP算法，和累积BP算法，BP是error Back Propagation的意思，误差逆传播。BP网络通常是指用BP算法训练的多层前馈神经网络。代码是照着书本公式自己写的，没有参考网上的其他版本。 数据和代码地址：https://github.com/qdbszsj/BP 具体的理论证明和公式推导，见西瓜书P101-104。这里重点说一下我的数据处理和一些代
标准BP算法和累计BP算法训练单隐层网络
qq_43625890的博客
11-14 4005
本文基于tensorflow搭建和训练单隐层网络，分别实现标准BP算法和累计BP算法。
标准BP与累计BP
小强强的博客
12-23 2050
# -*- coding: utf-8 -*- """ Created on Thu Dec 22 19:57:29 2016 周志华机器学习作业 @author: ZQ """ import numpy as np # 数据读取 def loadData(): data = [] with open('watermelon3.0.txt') as f: for
机器学习（西瓜书）第五章学习笔记
小白小小白的博客
12-31 2453
标准BP算法和累积BP算法的比较 标准BP算法每次只针对单个样例，参数更新得非常频繁，而且对不同样例进行更新的效果可能出现“抵消”现象。因此，为了达到同样的累积误差极小点，标准BP算法往往需要进行更多次数的迭代 累积BP算法：直接针对累计误差最小化，它在读取整个训练集D一遍后才对参数进行更新，这样参数更新得频率就会小很多，但是同...
BP算法（Back Propagation） 与 梯度下降法
Enabler
07-11 1355
BP算法由信号的正向传播和误差的反向传播两个过程组成。 正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。 反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元...
机器学习——神经网络累积BP算法
……
04-24 8078
在上篇的博客介绍的“标准BP算法”每次仅针对一个训练样例更新连接权和阈值，也就是说，BP算法中的更新规则是基于单个的 推导而得，如果类似的推导出基于累积误差最小化的更新规则，就得到了累积误差逆传播算法。累积BP算法与标准BP算法都很常用（标准BP算法和累积BP算法的区别类似于随机梯度下降(Stochastic gradient descent,简称 SGD)于标准梯度下降之间的区别）。一般来说，标...
西瓜书第五章神经网络
weixin_42002280的博客
06-27 754
一般来说，标准B P 算法每次更新只针对单个样例，参数更新得非常频 繁，而且对不同样例进行更新的效果可能出现“抵消”现象.因此，为了达到同 样的累积误差极小点，标准B P 算法往往需进行更多次数的迭代....
BP算法与累积BP算法
pku_langzi的博客
04-30 7246
BP算法与ABP算法实现
bp算法原理和详细推导流程
12-23
bp算法原理和详细推导流程，讲解的非常详细，通俗易懂
python实现bp算法详代码和描述.zip
11-22
这个zip文件“python实现bp算法详代码和描述.zip”提供了Python语言实现BP算法的详细代码，以及两个用于测试的实例，即test1和test2。通过分析这些内容，我们可以深入了解BP算法的基本原理和Python实现。 BP算法...
广义异或bp算法.rar_bp标准程序_bp算法 c++_符号函数
09-22
本文件为用C语言实现的可实现广义异或问题的bp神经网络算法。该问题是对标准异或问题的推广。在标准异或问题中，输入X1和X2取离散量-1或+1，在广义异或问题中，输入（X1,X2）可以在区间[-1，+1] X [-1, +1]内任意...
orignal_bp_雷达BP算法的仿真和实现_
10-04
本项目聚焦于"雷达BP算法的仿真和实现"，旨在提供一个从理论到实践的完整流程，帮助读者深入理解雷达信号的处理过程。 首先，我们要了解BP算法的基本原理。雷达系统通过发射特定频率的电磁波，当这些波遇到目标后，...
sinx bp_BP算法拟合sinx函数_
09-30
文件“sinx BP.m”很可能是用MATLAB编写的脚本，用于实现BP算法的训练和测试过程。MATLAB是一种广泛用于科学计算和数据分析的编程环境，特别适合进行数值计算和构建神经网络模型。这个脚本可能包含了定义网络结构、...
机器学习-周志华-课后习题答案5.5
qilixuening的博客
03-17 4548
5.5 试编程实现标准BP算法和累计BP算法，在西瓜数据集3.0上分别用这两个算法训练一个单隐层网络，并进行比较。 通过编程实践发现，在本例下要达到某一限定的均方误差时，标准BP算法比累积BP算法明显收敛更快，特别在本例中，将ABP算法误差设定到0.01时，其更新权重次数十分庞大。 本人采用标准BP算法（隐层10个神经元）获取数据集在误差小于0.01时的各项权重算得其错误率为2/17，训练29
《机器学习》——BP算法及式5.13的推导
shaoyeStillYoung的博客
07-22 619
BP算法及式5.13的推导 注:部分术语并不标准，仅是便于理解使用 文章目录BP算法及式5.13的推导1.概念2.模型2.1.参数解释3.分类:3.1标准BP算法3.2.累积BP算法4.BP与过拟合4.1.解释4.2.解决方法:4.2.1.早停4.2.2.正则化5.迭代过程6.式（5.13）的推导 1.概念 误差逆传播(error BackPropagation,简称BP)算法是用于训练多层网络的学习算法中最杰出的代表，它是迄今为止最成功的神经网络学习算法。 通常说BP网络时，指的是用BP算法训练的多层反馈
机器学习(四)---BP神经网络算法总结
QuinnHanz的博客
05-26 5932
1. 综述神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络的最基本的成分是神经元模型，即上述定义的“简单单元”。在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送...
Python 西瓜书编程实现标准BP算法和累积BP算法+loss可视化（可以直接运行）
AsajuHuishi的博客
04-05 5572
西瓜数据集3.0 标准BP算法：求单个样本的均方误差（公式5.4）； 参数更新非常频繁; 需要更多次数迭代。 累积BP算法：求所有训练样例的均方误差（公式5.16）； 参数更新频率低得多； 累积误差下降到一定程度之后，进一步下降慢。 # -*- coding: utf-8 -*- #单隐层网络 import pandas as pd import numpy as np from sk...
西瓜书第五章神经网络笔记
qq_50972785的博客
08-26 610
西瓜书第五章神经网络笔记
双边性：构建神经网络的新方法
最新发布
新缸中之脑
07-22 723
正如承诺的那样，这是最近我遇到的最有趣的想法之一的第二部分。如果你错过了，请务必观看本系列的第一部分 -- 我们讨论了双边性的生物学基础以及我们大脑的不对称性质如何带来更高的性能。在这篇文章中，我将介绍一些人工智能研究，这些研究对这个想法有很大的希望。如果你们中有人正在寻找下一篇研究论文/项目 - 这可能是一个不错的选择。无论我的意见如何 - 我相信解决神经网络中的双边性将真正改变人工智能领域的游戏规则。
编程实现标准bp算法和累积bp算法
04-28
标准BP算法和累积BP算法都是神经网络中常用的反向传播算法。下面分别介绍它们的实现方法： 1. 标准BP算法实现： 标准BP算法的核心思想是使用梯度下降法来更新神经网络的权重和偏置。具体实现步骤如下： （1）初始化权重和偏置，一般采用随机初始化方式。 （2）对于每个样本，依次进行前向传播和反向传播，计算出每个权重和偏置的偏导数。 （3）根据偏导数和学习率，更新每个权重和偏置。 （4）重复步骤（2）和（3），直到达到预设的迭代次数或者误差达到一定的要求。 下面是标准BP算法的伪代码实现： ``` Input: 训练数据集D，学习率α，迭代次数T Output: 训练后的神经网络 // 初始化权重和偏置 for each weight w and bias b in network: w = random() b = random() // 进行T次迭代 for t = 1 to T: // 对于每个样本进行前向传播和反向传播 for each sample (x, y) in D: // 前向传播 h = x for each layer l in network: h = activation(l(w*h + b)) // 计算输出层的误差 δ = h - y // 反向传播 for each layer l in network, starting from the last layer: δ = δ * derivative(l(w*h + b)) dw = δ * h.T db = δ w = w - α * dw b = b - α * db ``` 2. 累积BP算法实现： 累积BP算法是标准BP算法的改进版，它在更新权重和偏置时，不是每个样本都更新一次，而是累积多个样本的误差，再进行一次更新。具体实现步骤如下： （1）初始化权重和偏置，一般采用随机初始化方式。 （2）对于每个样本，依次进行前向传播和反向传播，计算出每个权重和偏置的偏导数。 （3）累积多个样本的偏导数，直到达到一定的累积数目或者样本集已经遍历完毕。 （4）根据累积的偏导数和学习率，更新每个权重和偏置。 （5）重复步骤（2）到（4），直到达到预设的迭代次数或者误差达到一定的要求。 下面是累积BP算法的伪代码实现： ``` Input: 训练数据集D，学习率α，迭代次数T，累积数目S Output: 训练后的神经网络 // 初始化权重和偏置 for each weight w and bias b in network: w = random() b = random() // 进行T次迭代 for t = 1 to T: // 初始化累积偏导数 dw_sum = 0 db_sum = 0 s = 0 // 对于每个样本进行前向传播和反向传播 for each sample (x, y) in D: // 前向传播 h = x for each layer l in network: h = activation(l(w*h + b)) // 计算输出层的误差 δ = h - y // 反向传播 for each layer l in network, starting from the last layer: δ = δ * derivative(l(w*h + b)) dw = δ * h.T db = δ // 累积偏导数 dw_sum = dw_sum + dw db_sum = db_sum + db s = s + 1 // 如果累积达到S个样本，更新权重和偏置 if s == S: w = w - α * dw_sum b = b - α * db_sum s = 0 dw_sum = 0 db_sum = 0 // 如果还有未达到S个样本的偏导数，更新权重和偏置 if s > 0: w = w - α * dw_sum b = b - α * db_sum ``` 以上是标准BP算法和累积BP算法的实现方法，需要注意的是，实现时需要根据具体情况来选择激活函数、损失函数和学习率等参数。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值