深度学习入门--计算机视觉--2

池化层：

ConvNet通常使用池化层减少展示量，提高计算速度，并使一些特征的检测功能更强大。

老规矩，举个例子：

Pooling layer ： Max pooling

4X4的输入，经过池化层之后，得到了2X2的输出。
这里池化层的参数是：f = 2 ， s = 2 .

什么意思呢，就是池化层的大小是2X2 的，步长是2 ， 规则是MAX ， 那么首先得到的第一个数就是1329中的最大值9，然后移动两步，得到2111中的最大值2，再移动两步得到1356中的最大值6，再移动两步得到2312中的最大值3，因此我们得到的输出就是9263这样一个2X2的矩阵。

残差网络ResNet：

层的主干路径：
a[l] ----- linear ----- ReLU --a[l+1]-- linear ----- ReLU ----- a[l+2]

linear : z[l+1] = W[l+1] a[l] + b[l+1]
ReLU : a[l+1] = g(z[l+1])
linear : z[l+2] = W[l+2] a[l+1] + b[l+2]
ReLU : a[l+2] = g(z[l+2])

上面是正常的流程。

现在将a[l] 直接放到第二个ReLU之前，那么最后的ReLU变成了：
ReLU : a[l+2] = g(z[l+2] + a[l] )

此过程的术语为快捷路径（shortcut）或跳跃连接（skip connection）