深度学习——Pooling Layer

深度学习——Pooling Layer

简介

• Pooling Layer正常是用于Convolution Layer后面，可以进一步提取有效特征，降低$n_W,n_H$维度，减少计算量。Pooling 层和Convolution层一样具有$stride(d)、f、pad(p)$参数。
• Pooling Layer主要有两种：1)Max Pooling、2)Average Pooling,如下图（1）
• $n_H^l=\lfloor \frac{n_H^{l-1}+2\ast p-f}{s}+1\rfloor ,n_W^l=\lfloor \frac{n_W^{l-1}+2\ast p-f}{s}+1\rfloor ,n_C^l=n_C^{l-1}(1)$
  
  $$figure(1)$$

1、Max Pooling

forwardpropagation

• Max Pooling如上图(1)所示，对输入数据每一通道在f*f 的slice范围内的数取最大值形成新的矩阵，最后每一通的矩阵concat在一起,维度变为公式（1）。$f=2,stride=2$。
  $$a_{(nh,nw,c)}^l=max(a_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^{l-1})(2)$$

backpropagation

• 由前向传播可以知道，梯度只要最大值才有，只有最大值才需更新。
  $$mask=(a_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^{l-1}==max)//等于最大值的位置变为1，其他为0(3)$$
  $$d{A}_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^{l-1}+=mask\ast d{A}_{(nw,nh,nc)}^l(4)$$

2、Average Pooling

forwardpropagation

• Average Pooling如上图(1)所示，对输入数据每一通道在f*f 的slice范围内的数计算平均值形成新的矩阵，最后每一通的矩阵concat在一起,维度变为公式（1）。$f=2,stride=2$。
  $$a_{(nh,nw,c)}^l=\frac{np.sum(a_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^{l-1})}{f\ast f}(5)$$

backpropagation

• 由前向传播可以知道
  $$dAverag{e}_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^l=\frac{np.sum(dAverag{e}_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^{l-1})}{f\ast f}$$
  $$d{A}_{((nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^{l-1}+=dAverag{e}_{(nh\ast stride:nh\ast stride+f,nw\ast stride:nw\ast stride+f,c)}^l(4)$$