前言
前面介绍到卷积的话有卷积操作和pooling操作,而反向传播算法是针对全连接层的,对于卷积核pooling操作要怎么更新参数呢?如何利用反向传播更新参数?
卷积神经网络指包含卷积层(经常与Pooling层一起)的神经网络模型。
卷积层如何反向传播?
Max Pooling层如何反向传播?
Pool层误差反向传播
我们看一下前馈计算,在每一个向量里边我们找到最大值,用最大值表示max pooling操作的结果,得到前馈计算的值,这个前馈计算最为下层的输入,我们可以进行计算。然后反向传播呢?
通过这些节点能计算出误差值,误差值怎么对max pooling进行反向传播呢?只需要对应的把误差传到对应的位置上就行,对应的来源。
卷积层误差反向传播
它跟正常全连接网络的不同点:它是共享参数的,每一个值都是用一套参数计算出来的,所以说你从每个反向传播得到每个节点的误差之后,你再往回传播的时候,它这些节点都是共享的,如果是m个的话,通过这套参数就能得到m个梯度值,因为每次传播可以计算出一个梯度。现在怎么办?我们把m个梯度相加起来作为最终的梯度然后更新一次。
共享参数
小结
-
Pooling层更新参数
-
卷积层更新参数