CNN知识点集合

CNN各种改进方案优势

CNN 具有平移不变形
TCNN(Tiled Convolution)具有平移不变形、旋转不变形、缩放不变性
Transposed Convolution只是为了重建先前的空间分辨率，执行了卷积操作，这不是卷积的数学逆过程。
Dilated Convolution提供了更大的感受野

池化层的各种函数

1.Lp pooling

2.Mixed Pooling

$\lambda$随机取值0或1

3.Stochastic Pooling

计算每个点的pi

选择$l$，令$y_i=a_l,lP(p1,\cdot \cdot \cdot \cdot ,p_{|Rj|}$。

4.Spectral Pooling

利用DFT转换原始mm的feature map 取其中心的hw的区域，将这个区域通过逆DFT变换获得最终的h*w的输出矩阵。

5.Spatial Pyramid Pooling

SPP池的输入特征映射在与图像大小成正比的局部空间容器中，从而获得固定的输出。可以忽视输入的尺寸。

6.Multi-scale Orderless Pooling（不太明白）

用多个尺度滑动窗得到一些patch，对每个patch提CNN特征，再用VLAD pooling将这些patch级别的CNN编码，得到一幅图的表示，最后将这2个滑窗尺度下的pooling结果和整幅图的CNN特征相连，得到图像最终的特征表示。

激活函数

1.ReLU

k为第k个通道。

2.Leaky ReLU