深度神经网络
卷积、填充和步幅
卷积层采用2-D Cross Correlation计算来代替卷积运算。
如下图所示,
计算过程为:
0 × 0 + 1 × 1 + 3 × 2 + 4 × 3 = 19 1 × 0 + 2 × 1 + 4 × 2 + 5 × 3 = 25 3 × 0 + 4 × 1 + 6 × 2 + 7 × 3 = 37 4 × 0 + 5 × 1 + 7 × 2 + 8 × 3 = 43 0\times0+1\times1+3\times2+4\times3=19\\ 1\times0+2\times1+4\times2+5\times3=25\\ 3\times0+4\times1+6\times2+7\times3=37\\ 4\times0+5\times1+7\times2+8\times3=43 0×0+1×1+3×2+4×3=191×0+2×1+4×2+5×3=253×0+4×1+6×2+7×3=374×0+5×1+7×2+8×3=43
之所以用2-D Cross Correlation计算是因为kernel中的数值都是通过学习得到的,所以即便不遵循卷积运算的计算方式,计算得到的结果也不会有问题。
上图中为一个具体的例子,抽象来看,设输入矩阵为 X X X,其大小为 n h × n w n_h\times n_w nh×nw;核矩阵为 W W W,其大小为 k h × k w k_h\times k_w kh×kw;输出矩阵为 Y Y Y,则 Y Y Y的大小为 ( n h − k h + 1 ) × ( n w − k w + 1 ) (n_h-k_h+1)\times(n_w-k_w+1) (nh−kh+1)×(nw−kw+1)。输出矩阵又称为特征图。
此时,三者之间的关系为
Y = X ⋆ W + b Y=X\star W+b Y=X⋆W+b
其中, b b