BP神经网络原理推导

BP算法(Background Propagation Alogorithm), 即误差逆传播算法,是训练多层前馈神经网络的一种最经典的算法,通过BP算法可以学得网络的权重和阈值,且具有可靠的收敛性。

标准BP算法每次更新只针对单个样例,参数更新得非常频繁,而且对不同样例进行更新的效果可能出现“抵消”现象.为了达到同样的累积误差极小点,标准BP算法往往需进行更多次数的迭代.
累积BP算法直接针对累积误差最小化,它在读取整个训练集D 一遍后才对参数进行更新,其参数更新的频率低得多.
但在很多任务中,累积误差下降到一定程度之后,进一步下降会非常缓慢,这时标准BP往往会更快获得较好的解,尤其是在训练集D非常大时更明显.

前向传播过程:
将输入值传入神经网络,逐层将信号前传,计算输出层的结果yˆy^
计算输出值yˆ和y^和yjyj的误差,通常采用均方误差(mse)

Ek=12Σlj=1(yˆkj−ykj)2Ek=12Σj=1l(y^jk−yjk)2
反向传播过程:
输入层神经元
根据优化策略,减小输出误差需要计算误差关于其输入权的梯度,即∂Ek∂ωhj∂Ek∂ωhj
利用求导的链式法则(Chain Rule),可以将其展开为

 

第一项是误差对输出求偏导,由上文提到的均方误差公式可以直接求导计算,结果为−(yˆkj−ykj)−(y^jk−yjk)
第二项是输出对输入求偏导,即对输出层的激励函数求偏导,在这里选用sigmoid函数作为激励函数sigmoid函数:11+e−z11+e−z 具有非常优秀的性质,其中包括导数可用自身表示:

f′(x)=f(x)(1−f(x))f′(x)=f(x)(1−f(x))
因此,可直接写出为=yˆkj(1−yˆ)=y^jk(1−y^)
第三项是输入对权重求偏导,由定义直接计算输出层神经元的误差为:

最终求得的导数:

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BP神经网络原理推导是通过反向传播算法来调整网络的权值和阈值,以使网络的输出与实际输出之间的误差最小化。BP神经网络推导过程可以分为以下几个步骤: 1. 变量说明:首先,我们需要定义一些变量来表示神经网络的各个部分。通常,我们使用下面的符号来表示这些变量: - 输入层:输入层的神经元个数记为n,输入层的输出记为x0,其中x0=[x1, x2, ..., xn]T; - 隐藏层:隐藏层的神经元个数记为m,隐藏层的输出记为x1,其中x1=[x11, x12, ..., xm1]T; - 输出层:输出层的神经元个数记为p,输出层的输出记为x2,其中x2=[x21, x22, ..., xp2]T; - 权值矩阵:隐藏层和输出层之间的权值矩阵记为W2,其中W2是一个m×p的矩阵; - 阈值矩阵:隐藏层和输出层之间的阈值矩阵记为θ2,其中θ2是一个p维的列向量;- 隐藏层和输入层之间的权值矩阵记为W1,其中W1是一个n×m的矩阵; - 隐藏层和输入层之间的阈值矩阵记为θ1,其中θ1是一个m维的列向量。 2. 前向传播:首先,我们通过前向传播计算神经网络的输出。具体地,我们有以下公式: - 隐藏层的输入:z1 = W1 * x0 + θ1; - 隐藏层的输出:x1 = f(z1); - 输出层的输入:z2 = W2 * x1 + θ2; - 输出层的输出:x2 = f(z2); 其中,f(·)是一个激活函数,常用的激活函数包括sigmoid函数、ReLU函数等。 3. 反向传播:然后,我们通过反向传播算法来计算网络的误差,并根据误差来调整权值和阈值。具体地,我们有以下步骤: - 计算输出层的误差:δ2 = (x2 - y) ⊙ f'(z2),其中⊙表示元素级别的乘法; - 计算隐藏层的误差:δ1 = (W2^T * δ2) ⊙ f'(z1); - 更新输出层的权值和阈值:W2 = W2 - α * δ2 * x1^T,θ2 = θ2 - α * δ2,其中α是学习率; - 更新隐藏层的权值和阈值:W1 = W1 - α * δ1 * x0^T,θ1 = θ1 - α * δ1; 其中,^T表示转置操作。 4. 重复迭代:通过不断重复前向传播和反向传播的过程,直到网络的输出与实际输出之间的误差满足要求为止。 综上所述,BP神经网络通过反向传播算法来调整网络的权值和阈值,以使网络的输出与实际输出之间的误差最小化。该算法通过迭代的方式不断优化网络的性能,从而实现对非线性问题的解决。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值