卷积神经网络中卷积运算的前向传播与反向传播推导

版权声明:博客文章都是作者辛苦整理的,转载请注明出处,谢谢! https://blog.csdn.net/Quincuntial/article/details/90412121

文章作者:Tyan
博客:noahsnail.com  |  CSDN  |  [简书](http://www.jianshu.com/users/7731e83f3a4e/latest_articles

0. 必备基础知识

  • 卷积以及卷积的运算过程

  • 微分相关知识,包括求偏导及链式法则

1. 卷积运算的前向传播

数学符号定义:

输入:

Input

卷积核:

Filter

输出:

Output

卷积运算:

Convolution
Convolution

定义损失函数,将损失函数定义为输出的和,这样方便反向传播计算的演示:

Loss Function

X -> Y -> L的过程是卷积运算的前向传播过程,为了简化这个过程,这里忽略了偏置项b以及卷积之后的激活函数。

2. 卷积运算的反向传播

  • 计算损失函数L对输出Y的梯度

Derivation

  • 计算输入X的梯度
Derivation

计算其中每一项的梯度:

Chain Rule
  • 计算卷积核W的梯度

Derivation

计算其中每一项的梯度:

Chain Rule

参考资料

  1. https://plantsandbuildings.github.io/machine-learning/misc/math/2018/04/28/a-ground-up-c+±convnet-that-scores-0.973-on-the-kaggle-digit-recognizer-challenge.html
展开阅读全文

没有更多推荐了,返回首页