霹雳吧啦(2)——误差的更新、反向传播,权重的更新

误差的计算

 

 以该网络为例

        左边为输入层,中间为隐藏层,右边为输出层

        y1和y2的输出:

        softmax:所有输出节点概率和为1 

交叉熵损失:

 

误差的反向传播 

 

权重的更新 

 

 

我们不可能将数据集一次塞入,因此我们是要分批次进行训练的 ,则损失梯度指向当前批次最优解方向

引入优化器,使网络更快的收敛

 

 引入了动量,考虑到了上一次的梯度方向,效果如左下图所示

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值