深度学习笔记（3）——CNN中一些特殊环节的反向传播

最新推荐文章于 2024-01-27 01:02:32 发布

sjx_alo

最新推荐文章于 2024-01-27 01:02:32 发布

阅读量293

点赞数 1

分类专栏：机器视觉杂记文章标签：神经网络人工智能深度学习算法

原文链接：https://blog.csdn.net/qq_21190081/article/details/72871704

版权

机器视觉同时被 2 个专栏收录

57 篇文章 9 订阅

订阅专栏

杂记

12 篇文章 0 订阅

订阅专栏

深度学习笔记（3）——CNN中一些特殊环节的反向传播

传统的神经网络无论是隐层还是激活函数的导数都是可导，可以直接计算出导数函数，然而在CNN网络中存在一些不可导的特殊环节，比如Relu等不可导的激活函数、造成维数变化的池化采样、已经参数共享的卷积环节。NN网络的反向传播本质就是梯度（可能学术中会用残差这个词，本文的梯度可以认为就是残差）传递，所以只要我们搞懂了这些特殊环节的导数计算，那么我们也就理解CNN的反向传播。

Relu函数的导数计算

先从最简单的开始，Relu激活在高等数学上的定义为连续（局部）不可微的函数，它的公式为

R e l u (x) = {x, 0, x > 0 x \leq 0

处的导数置为1，所以它的导数也就变为了

δ R e l u (x) = {1, 0, x > 0 x \leq 0

层的feature map有16个梯度，那么第

1、mean pooling

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变，还是比较理解的，图示如下
这里写图片描述
mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去，但是这样会造成loss之和变为原来的N倍，网络是会产生梯度爆炸的。

2、max pooling

max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id，这个可以看caffe源码的pooling_layer.cpp，下面是caffe框架max pooling部分的源码

// If max pooling, we will initialize the vector index part.
if (this->layer_param_.pooling_param().pool() == PoolingParameter_PoolMethod_MAX && top.size() == 1)
{
    max_idx_.Reshape(bottom[0]->num(), channels_, pooled_height_,pooled_width_);
  }
 
 
 
 1
2
3
4
5