CNN各种改进方案优势
CNN 具有平移不变形
TCNN(Tiled Convolution)具有平移不变形、旋转不变形、缩放不变性
Transposed Convolution只是为了重建先前的空间分辨率,执行了卷积操作,这不是卷积的数学逆过程。
Dilated Convolution提供了更大的感受野
池化层的各种函数
1.Lp pooling
2.Mixed Pooling
λ \lambda λ随机取值0或1
3.Stochastic Pooling
计算每个点的pi
选择 l l l,令 y i = a l , l P ( p 1 , ⋅ ⋅ ⋅ ⋅ , p ∣ R j ∣ y_i=a_l,l~P(p1,····,p_{|Rj|} yi=al,l P(p1,⋅⋅⋅⋅,p∣Rj∣。
4.Spectral Pooling
利用DFT转换原始mm的feature map 取其中心的hw的区域,将这个区域通过逆DFT变换获得最终的h*w的输出矩阵。
5.Spatial Pyramid Pooling
SPP池的输入特征映射在与图像大小成正比的局部空间容器中,从而获得固定的输出。可以忽视输入的尺寸。
6.Multi-scale Orderless Pooling(不太明白)
用多个尺度滑动窗得到一些patch,对每个patch提CNN特征,再用VLAD pooling将这些patch级别的CNN编码,得到一幅图的表示,最后将这2个滑窗尺度下的pooling结果和整幅图的CNN特征相连,得到图像最终的特征表示。
激活函数
1.ReLU
k为第k个通道。
2.Leaky ReLU