你还不知道?更新参数

前言

前面介绍到卷积的话有卷积操作和pooling操作,而反向传播算法是针对全连接层的,对于卷积核pooling操作要怎么更新参数呢?如何利用反向传播更新参数?

卷积神经网络指包含卷积层(经常与Pooling层一起)的神经网络模型。

卷积层如何反向传播?

Max Pooling层如何反向传播?

Pool层误差反向传播

我们看一下前馈计算,在每一个向量里边我们找到最大值,用最大值表示max pooling操作的结果,得到前馈计算的值,这个前馈计算最为下层的输入,我们可以进行计算。然后反向传播呢?

通过这些节点能计算出误差值,误差值怎么对max pooling进行反向传播呢?只需要对应的把误差传到对应的位置上就行,对应的来源。

卷积层误差反向传播

它跟正常全连接网络的不同点:它是共享参数的,每一个值都是用一套参数计算出来的,所以说你从每个反向传播得到每个节点的误差之后,你再往回传播的时候,它这些节点都是共享的,如果是m个的话,通过这套参数就能得到m个梯度值,因为每次传播可以计算出一个梯度。现在怎么办?我们把m个梯度相加起来作为最终的梯度然后更新一次。

共享参数

小结

  • Pooling层更新参数

  • 卷积层更新参数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值