BP神经网络原理及权重、阈值参数调整公式推导

最新推荐文章于 2024-06-25 18:34:33 发布

Snail_PNW

最新推荐文章于 2024-06-25 18:34:33 发布

阅读量8.7k

点赞数 2

文章标签：神经网络人工智能

原文链接：https://blog.csdn.net/qq_45055856/article/details/124393025?spm=1001.2014.3001.5502

版权

本文深入解析了BP神经网络的工作原理，包括前向传播过程、误差反向传播的梯度下降法应用，以及如何通过数学推导调整权重和阈值。重点讲解了权重更新公式的变化，并介绍了误差反向传播的实际操作。适合进一步理解神经网络训练的读者。

摘要由CSDN通过智能技术生成

1.BP神经网络

BP(Backpropagation, BP)神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使BP神经网络预测输出不断逼近期望输出。BP神经网络的拓扑结构如图所示。

这里的（1-1）中应该改成: $H_{j}=f(\sum_{i=1}^{n}\omega _{ij}x_{i}+a_{j})$

这里 $f(x)$ 的导数为 $f(x)(1-f(x))$ (可以用数学知识推导一下)，所以 $H_{j}$ 的导数为 $H_{j}(1-H_{j})$

这里的（1-3）中应该改成: $O_k=\sum_{j=1}^{l}H_{j}\omega _{jk}+b_{k}$

2.误差反向传播

这里的误差反向传播利用的是梯度下降法的原理（关于梯度下降法的详细原理可参照此博主）

此处只是简单的一次循环举例，E为均方差代价函数，a3’为真实值，通过梯度下降对权值和阈值进行调整。

$\frac{\partial E}{\partial b1}=\frac{\partial E}{\partial a3}*\frac{\partial a3}{\partial z2}*\frac{\partial z2}{\partial a2}*\frac{\partial a2}{\partial b1} =(a3-a3')*w2*\frac{\partial z2}{\partial a2}*1 =e^{k}*\sum_{k=1}^{m}\omega _{jk}H_{j}(1-H_(j))$

$\frac{\partial E}{\partial b2}=\frac{\partial E}{\partial a3}*\frac{\partial a3}{\partial b2}=(a3-a3')*1=e_{k}$

$\frac{\partial E}{\partial w1}=\frac{\partial E}{\partial a3}*\frac{\partial a3}{\partial z2}*\frac{\partial z2}{\partial a2}*\frac{\partial a2}{\partial w1} =(a3-a3')*w2*\frac{\partial z2}{\partial a2}*a1 =e^{k}*\sum_{k=1}^{m}\omega _{jk}H_{j}(1-H_(j))*x(i)$