CNN卷积与数学中卷积的关系

CNN卷积与数学卷积的关系

常规CNN卷积定义

令 $\mathbf{P}$ 表示原始图像的一个通道，为 $m\times n$ 大小的二阶张量，令 $\mathbf{w}$ 表示某一层某一通道的卷积核，为 $k\times k$ 大小的二阶张量（k一般为奇数，令$k=2t+1$），令 $\mathbf{Q}$ 表示 $\mathbf{P}$ 与 $\mathbf{w}$ 卷积后的图像：

$ {\bold Q} = {\bold w} * {\bold P} $

若不补零（Torch.Conv2D的参数 $padding=0$）， $\mathbf{Q}$ 的每个元素可表示如下：

$Q_{i,j}=\sum _{u=-t}^t\sum _{v=-t}^t{w}_{uv}{P}_{i+u,j+v},0\le i<m,0\le j<n$

其中，$P_{i+u,j+v}=0,if(i+u<0)|(j+v<0)|(i+u\ge m)|(j+v\ge n)$ ，而$\mathbf{Q}$ 的大小保持 $m\times n$ 。

若完全补零（Torch.Conv2D的参数 $padding\ge (k-1)$），并将CNN卷积的形式逐步向数学靠拢， $\mathbf{Q}$ 的每个元素可表示如下：

$Q_{i,j}=\sum _{u=-\infty }^{\infty }\sum _{v=-\infty }^{\infty }{w}_{uv}{P}_{i+u,j+v},-\infty <i<\infty ,-\infty <j<\infty$

其中，$P_{i+u,j+v}=0,if(i+u<0)|(j+v<0)|(i+u\ge m)|(j+v\ge n)$ ，去除$\mathbf{Q}$ 外围必定为0元素，$\mathbf{Q}$ 的大小为 $(m+k-1)\times (n+k-1)$ 。

数学卷积定义

对CNN卷积有参考意义的是数学上的二维卷积，令 $\mathbf{P}$ 表示 $m\times n$ 大小的二阶张量，令 $\mathbf{w}$ 表示为 $k\times k$ 大小的二阶张量，令 $\mathbf{Q}$ 表示 $\mathbf{P}$ 与 $\mathbf{w}$ 卷积后的结果：

$ {\bold Q} = {\bold w} * {\bold P} $

$\mathbf{Q}$ 的每个元素可表示如下：

$Q_{i,j}=\sum _{u=-\infty }^{\infty }\sum _{v=-\infty }^{\infty }{w}_{uv}{P}_{i-u,j-v},-\infty <i<\infty ,-\infty <j<\infty$

其中，$P_{i-u,j-v}=0,if(i-u<0)|(j-v<0)|(i-u\ge m)|(j-v\ge n)$ 。

去除$\mathbf{Q}$ 外围必定为0元素，$\mathbf{Q}$ 的大小为 $(m+k-1)\times (n+k-1)$ 。

CNN卷积与数学卷积的差异

CNN卷积与数学卷积两者的公式形式基本一致，差别仅在$P_{i+u,j+v}$和$P_{i-u,j-v}$。实际上，CNN卷积在数学上被称为相关函数，两者在定义上的差别仅仅是卷积核是否需要进行上下、左右两次翻转。

此处定义运算符 $⊛$ 表示完全补零的CNN卷积，*仍表示数学卷积，再定义上标~表示二阶张量进行上下、左右两次翻转的运算，即定义 $\bold B = \bold A ^ \sim $ 表示 $B_{i,j}=A_{-i.ij}$ ，则有如下表示：

$\begin{array}{rl}\mathbf{A}\ast \mathbf{B}& ⟺{\mathbf{A}}^{\sim }⊛\mathbf{B}\\ \mathbf{A}⊛\mathbf{B}& ⟺{\mathbf{A}}^{\sim }\ast \mathbf{B}\end{array}$

另外，由数学定义可知，数学卷积满足交换律、结合律、加法分配律：

$\begin{array}{rl}\mathbf{A}\ast \mathbf{B}& =\mathbf{B}\ast \mathbf{A}\\ (\mathbf{A}\ast \mathbf{B})\ast \mathbf{C}& =\mathbf{A}\ast (\mathbf{B}\ast \mathbf{C})\\ \mathbf{A}\ast \mathbf{C}+\mathbf{B}\ast \mathbf{C}& =(\mathbf{A}+\mathbf{B})\ast \mathbf{C}\end{array}$

可推导得CNN卷积有如下基本性质：

$\mathbf{A}⊛\mathbf{B}⟺{\mathbf{A}}^{\sim }\ast \mathbf{B}=\mathbf{B}\ast {\mathbf{A}}^{\sim }⟺{\mathbf{B}}^{\sim }⊛{\mathbf{A}}^{\sim }$

$(\mathbf{A}⊛\mathbf{B})⊛\mathbf{C}⟺({\mathbf{A}}^{\sim }\ast \mathbf{B}{)}^{\sim }\ast \mathbf{C}=\mathbf{A}\ast ({\mathbf{B}}^{\sim }\ast \mathbf{C})⟺{\mathbf{A}}^{\sim }⊛(\mathbf{B}⊛\mathbf{C})$

$\mathbf{A}⊛(\mathbf{B}⊛\mathbf{C})⟺{\mathbf{A}}^{\sim }\ast ({\mathbf{B}}^{\sim }\ast \mathbf{C})=({\mathbf{A}}^{\sim }\ast {\mathbf{B}}^{\sim })\ast \mathbf{C}⟺({\mathbf{A}}^{\sim }⊛\mathbf{B})⊛\mathbf{C}$

$\mathbf{A}⊛\mathbf{C}+\mathbf{B}⊛\mathbf{C}⟺{\mathbf{A}}^{\sim }\ast \mathbf{C}+{\mathbf{B}}^{\sim }\ast \mathbf{C}=({\mathbf{A}}^{\sim }+{\mathbf{B}}^{\sim })\ast \mathbf{C}⟺(\mathbf{A}+\mathbf{B})⊛\mathbf{C}$

CNN卷积性质的应用

令 $\mathbf{P}$ 表示原始图像的一个通道，为 $m\times n$ 大小的二阶张量，令 $\mathbf{w}$ 表示某一层某一通道的卷积核，为 $k\times k$ 大小的二阶张量（k一般为奇数，令$k=2t+1$），令 $\mathbf{Q}$ 表示 $\mathbf{P}$ 与 $\mathbf{w}$ 完全补零CNN卷积后的图像：

$ {\bold Q} = {\bold w} \circledast {\bold P} $

若存在卷积核 $\mathbf{w}\alpha$ 和 $\mathbf{w}\beta$ ，则j完全补零CNN卷积满足如下性质：

$\mathbf{w}\alpha ⊛\mathbf{P}+\mathbf{w}\beta ⊛\mathbf{P}=(\mathbf{w}\alpha +\mathbf{w}\beta )⊛\mathbf{P}$

$\mathbf{w}\alpha ⊛(\mathbf{w}\beta ⊛\mathbf{P})=(\mathbf{w}{\alpha }^{\sim }⊛\mathbf{w}\beta )⊛\mathbf{P}$