BackPropagation算法理论详解及公式推导

定义:

          \eta:步长

          w_{ji}^{l}第(l-1)层隐藏层的第i个神经元------------>第(l)层隐藏层的第j个神经元的连线的权值

           b_{j}^{l}第(l)层隐藏层的第j个神经元的偏量bias,下面的图片中的bias_{j}^{l}就是b_{j}^{l}

           Z_{j}^{l}

           a_{j}^{l}=\frac{1}{1+e^{-Z_{j}^{l}}}

一、目标函数:

          Cost(w, b)=\frac{1}{2m}\sum_{i=1}^{m}\left \| y-a^{L} \right \|^{2}此处的y是向量(样本提供的标准答案),a^{L}是神经网络的输出向量。

          由于神经网络是每注入一个样例,更新一次参数的,所以,考虑到注入一个样例的情况,其目标函数是:         cost(w,b)=\frac{1}{2}\sum_{i=1}^{outputs}(y_{i}-a_{i}^{L})^{2},其中outputs表示神经网路的最终结果的可能性个数。

二、两个参数的更新方程:

          w_{ji}^{l}:=w_{ji}^{l}-\eta\frac{\partial cost}{\partial w_{ji}^{l}}

          b_{j}^{l}:=b_{j}^{l}-\eta \frac{\partial cost}{\partial b_{j}^{l}}

          现在为题转化为如果求解\frac{\partial cost}{\partial w_{ji}^{l}}\frac{\partial cost}{\partial b_{j}^{l}},下面给出详细求解过程:

 

 

 

至此BackPropagation算法推导完毕。

补充和修改:为了更好的解释\delta _{j}^{l}的递推过程,对上述部分推导进行简单修改

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值