深度学习-池化层反向传播

目录

池化层操作的反向梯度传播

1, mean pooling

2，max pooling

3，ncnn代码

---

池化层操作的反向梯度传播

CNN网络中另外一个不可导的环节就是Pooling池化操作，因为Pooling操作使得feature map的尺寸变化，假设做2*2的池化，假设那么低L+1层的feature map有16个梯度，那么第L层就会有64个梯度，这使得梯度无法对位的进行传播下去。解决这个问题的思想也比较简单，就是把1个像素的梯度传递给4个像素，但是需要保证传递的loss总和不变。根据这条原则，mean pooling与max pooling反向传播是不同的。

1, mean pooling

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling,那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层，这样就能保证池化前后的梯度之差保持不变。

mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去，但是这样会造成loss之和变为原来的N倍，网络是会产生梯度爆炸的。

2，max pooling

max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉,。那么反向传播也就是把梯度直接传递给前某一层某一个像素，而其他像素不接受梯度，也就是为0.所以反向传播如下：

3，ncnn代码

// Tencent is pleased to support the open source community by making ncnn available.
//
// Copyright (C) 2017 THL A29 Limited, a Tencent company. All rights reserved.
//
// Licensed under the BSD 3-Clause License (the "License"); you may not use this file except
// in compliance with the License. You may obtain a copy of the License at
//
// https://opensource.org/licenses/BSD-3-Clause
//
// Unless required by applicable law or agreed to in writing, software distributed
// under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR
// CONDITIONS OF ANY KIND, either express or implied. See the License for the
// specific language governing permissions and limitations under the License.

#include "pooling.h"
#include <float.h>
#include <algorithm>

namespace ncnn {

DEFINE_LAYER_CREATOR(Pooling)

Pooling::Pooling()
{
    one_blob_only = true;
    support_inplace = false;
}

int Pooling::load_param(const ParamDict& pd)
{
    poo