Orthogonal Convolutional Neural Networks

Wang J, Chen Y, Chakraborty R, et al. Orthogonal Convolutional Neural Networks.[J]. arXiv: Computer Vision and Pattern Recognition, 2019.

@article{wang2019orthogonal,
title={Orthogonal Convolutional Neural Networks.},
author={Wang, Jiayun and Chen, Yubei and Chakraborty, Rudrasis and Yu, Stella X},
journal={arXiv: Computer Vision and Pattern Recognition},
year={2019}}

概

本文提出了一种正交化CNN的方法.

主要内容

符号说明

$X\in {\mathbb{R}}^{N\times C\times H\times W}$: 输入
$K\in {\mathbb{R}}^{M\times C\times k\times k}$: 卷积核
$Y\in {\mathbb{R}}^{N\times M\times H^{\prime }\times W^{\prime }}$: 输出
$$Y=Conv(K,X)$$

$Y=Conv(K,X)$的俩种表示

$Y=K\tilde{X}$

此时$K\in {\mathbb{R}}^{M\times C{k}^2}$, 每一行相当于一个卷积核, $\tilde{X}\in {\mathbb{R}}^{C{k}^2\times H^{\prime }{W}^{\prime }}$, $Y\in {\mathbb{R}}^{M\times H^{\prime }{W}^{\prime }}$.

$Y=\mathcal{K}X$

此时$X\in {\mathbb{R}}^{CHW}$相当于将一张图片拉成条, $\mathcal{K}\in {\mathbb{R}}^{MH{W}^{\prime }\times CHW}$, 同样每一次行列作内积相当于一次卷积操作, $Y\in {\mathbb{R}}^{M{H}^{\prime }{W}^{\prime }}$.

kernel orthogonal regularization

相当于要求$K{K}^T=I$(行正交) 或者$K^{T}K=I$(列正交), 正则项为
$$\begin{gathered} L_{korth-row}=\Vert K{K}^T-I{\Vert }_F, \\ {L}_{korth-col}=\Vert K^{T}K-I{\Vert }_F. \end{gathered}$$
作者在最新的论文版本中说明了, 这二者是等价的.

orthogonal convolution

作者期望的便是$\mathcal{K}{\mathcal{K}}^T=I$或者${\mathcal{K}}^T\mathcal{K}=I$.

用$\mathcal{K}(ihw,\cdot )$表示第$(i-1)H^{\prime }{W}^{\prime }+(h-1)W^{\prime }+w$行, 对应的$\mathcal{K}(\cdot ,ihw)$表示$(i-1)HW+(h-1)W+w$列.

则$\mathcal{K}{\mathcal{K}}^T=I$等价于
$$⟨\mathcal{K}(i{h}_1{w}_1,\cdot ),\mathcal{K}(j{h}_2{w}_2,\cdot )⟩=\{\begin{array}{ll}1,& (i,h_1,w_1)=(j,h_2,w_2)\\ 0,& else.\end{array}\text{\hspace{1em}(5)}$$
${\mathcal{K}}^T\mathcal{K}=I$等价于
$$⟨\mathcal{K}(\cdot ,i{h}_1{w}_1),\mathcal{K}(\cdot ,j{h}_2{w}_2)⟩=\{\begin{array}{ll}1,& (i,h_1,w_1)=(j,h_2,w_2)\\ 0,& else.\end{array}\text{\hspace{1em}(10)}$$

实际上这么作是由很多冗余的, 可以进一步化为更简单的形式.
(5)等价于
$$Conv(K,K,padding=P,stride=S)=I_{r0},\text{\hspace{1em}(7)}$$
其中$I_{r0}\in {\mathbb{R}}^{M\times M\times (2P/S+1)\times (2P/S+1)}$仅在$[i,i,\lfloor \frac{k-1}{S}\rfloor +1,\lfloor \frac{k-1}{S}\rfloor +1],i=1,\dots ,M$处为$1$其余元素均为$0$.
$$P=\lfloor \frac{k-1}{S}\rfloor \cdot S.$$

其推导过程如下(这个实在不好写清楚):

${\mathcal{K}}^T\mathcal{K}$在$S=1$特殊情况下的特殊情况下, (10)等价于
$$Conv(K^T,K^T,padding=k-1,stride=1)=I_{c0},\text{\hspace{1em}(11)}$$
其中$I_{c0}\in {\mathbb{R}}^{C\times C\times (2k-1)\times (2k-1)}$, 同样仅在$(i,i,k,k)$处为1, 其余非零.$K^T\in {\mathbb{R}}^{C\times M\times k\times k}$是$K$的第1, 2坐标轴进行变换.

同样的
$$\underset{K}{\min }\Vert \mathcal{K}{\mathcal{K}}^T-I{\Vert }_F$$
与
$$\underset{K}{\min }\Vert {\mathcal{K}}^T\mathcal{K}-I{\Vert }_F$$
是等价的.

另一方面, 最开始提到的kernel orthogonal regularization是orthogonal convolution的必要条件(但不充分)$K{K}^T=I$, $K^{T}K=I$分别等价于:
$$\begin{gathered} Conv(K,K,padding=0)=I_{r0} \\ Conv(K^T,K^T,padding=0)=I_{c_0}, \end{gathered}$$
其中$I_{r0}\in {\mathbb{R}}^{M\times M\times 1\times 1}$, $I_{c0}\in {\mathbb{R}}^{C\times C\times 1\times 1}$.