前馈神经网络-反向传播(Back Propagation)公式推导走读

 
构造:输入神经元个数等于输入向量维度,输出神经元个数等于输出向量维度。(x1=(1,2,3),则需要三个输入神经元
 
一 前向后传播
 
隐层:
输出层:
 
一般化 ,向量表示  
 
 
二 反向传播
 
 
1计算梯度delta:均方误差,利用了sigmoid函数导数的有趣性。
输出层梯度: -->  eg. 
隐层梯度:   -->   eg. 
 
 
2 更新权重:
eg输出层:
eg隐层:
 

 
备注 反向传播的公式推导
0目标函数:
1梯度下降法优化目标函数 , 怎么计算出误差对于每个权重的偏导数呢?
2netj是第j个神经元的加权输入作为传导,链式求导法则 : ,。
                   
区分 输出层隐藏层两种情况:
3.1 输出层: 借用yj作为传导,netj和Ed都是与yj有关的函数,链式求导法则:
第一项:      第二项:
带入 ,所以 输出层梯度:
 
3.2隐层:借用节点的所有直接下游节点的集合Downstream(j),链式法则:aj
 
 
带入求得梯度
 
 
备注:
激活函数: sigmoid函数是一个非线性函数,导数有趣,可用自身表示。
 
 
 
 
 参考:网络博客

转载于:https://www.cnblogs.com/rongyux/p/6713232.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
前馈神经网络反向传播是一种用于训练神经网络的算法。它通过计算损失函数对网络中每个参数的偏导数来更新网络的参数,从而最小化损失函数。引用中提到了反向传播使用的链式求导法则。 具体来说,反向传播算法的步骤如下: 1. 输入一个训练样本,并将其传递给前馈神经网络进行前向传播,计算出网络的输出值。 2. 计算损失函数,将网络的输出值与真实值进行比较,得到网络的误差。 3. 从输出开始,根据链式求导法则,计算每个参数对误差的偏导数。这可以通过计算损失函数对每个参数的偏导数来完成。 4. 使用计算得到的偏导数来更新网络中的参数。常用的更新规则是梯度下降法,即根据参数的偏导数和学习率来更新参数的值。 5. 重复步骤1-4,直到达到停止条件(例如达到最大迭代次数或误差小于某个阈值)为止。 需要注意的是,在计算偏导数时,可以使用链式求导法则来将误差传播回每一的参数。这使得即使是多网络,也可以通过反向传播计算每个参数的梯度。引用中给出的链式求导法则提供了更详细的数学基础。 总结起来,前馈神经网络反向传播是通过计算损失函数对每个参数的偏导数,然后使用梯度下降法来更新参数,从而训练网络并最小化损失函数。这种算法可以有效地在多网络中传播误差,并逐步优化网络的性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值