BP算法和LMBP算法

最新推荐文章于 2023-12-18 22:37:50 发布

计算机女孩绝不认输

最新推荐文章于 2023-12-18 22:37:50 发布

阅读量6.3k

点赞数 3

分类专栏：神经网络设计文章标签：神经网络算法

本文链接：https://blog.csdn.net/ITGIRLno1/article/details/112162300

版权

本文介绍了BP算法和LMBP算法在神经网络训练中的原理和应用。BP算法通过激励传播和权重更新进行迭代训练，而LMBP算法作为BP的优化，结合了最速下降法和高斯牛顿法，提高收敛速度。LMBP算法在参数适中时表现出较高的训练效率，但存储需求大，不适合参数数量庞大的网络。

摘要由CSDN通过智能技术生成

BP算法

反向传播算法(BP算法)是一种监督学习算法，常被用来训练多层感知机。BP算法由两个环节（激励传播、权重更新）反复循环迭代，直到网络对输入的响应大到预定的目标范围为止。
激励传播包含：（向前传播阶段）将训练输入送入网络以获得激励响应啊；（反向传播阶段）将激励响应同训练输入对应的目标输入求差（t-a），从而获得隐层和输出层的响应误差。
权重更新包括：首先将输入激励和响应误差相乘(s^m*(a(m-1)))，从而获得权重的梯度；然后，将这个梯度乘上一个比例(∂*s^m*(a(m-1)))并去反后加到权重上。
在这里插入图片描述

LMBP算法

Levenberg-Marquardt算法是牛顿法的一种变形，用于最小化非线性函数的平方和。也可以看成是最速下降法和高斯牛顿法的结合（通过调节阻尼μ切换），当解距离最优解较远时，算法更接近最速下降法，慢却保证下降；当解接近最优解，算法接近高斯牛顿法，快速收敛。非常适用于采用均方误差为性能指标的神经网络的训练。
核心思想：用雅可比矩阵（易计算）代替Hessian矩阵的计算，使得优化效率得到提升。
LMBP是加速收敛BP算法的其中一种标准的数值优化方法。
优点：由于需要求解矩阵的逆，所以在每次迭代中需要更多的计算。但是既便如此ÿ