CV中基本卷积函数的变体-花海《深度学习》笔记

注意：这里的卷积函数，其实是数学上的相关函数，而不是数学上的卷积函数。

记号：

$K\text{K}K$：4维核张量
$K_{i,j,k,l}$：$K\text{K}K$ 的元素，角标的含义：

$i$：输出中的第 $i$ 个通道
$j$：输入中的第 $i$ 个通道
$k$, $l$：第 $k$ 行，第 $l$ 列

$V\text{V}V$：3维观测数据张量
$V_{i,j,k}$：$V\text{V}V$ 的元素，含义：

处于通道 $i$ 中的第 $j$ 行第 $k$ 列的值

$Z\text{Z}Z$：3维张量，是卷积函数的输出
$Z_{i,j,k}$：$Z\text{Z}Z$ 的元素，含义：

处于通道 $i$ 中的第 $j$ 行第 $k$ 列的值

$G\text{G}G$：3维张量，在反向传播中得到。

$G_{i,j,k}$：处于通道 $i$ 中的第 $j$ 行第 $k$ 列的值，计算方法：
$G_{i,j,k}=\frac{\partial }{\partial Z_{i,j,k}}J(V\text{V}V,K\text{K}K)$

$s$：下采样卷积的步幅(stride)
$t$：平铺卷积中的核数，这种卷积的输出在 $t$ 个不同的核组成的集合中进行循环。当 $t$ 等于这种卷积输出的宽度时，平铺卷积转化为局部连接卷积。
$J(V\text{V}V,K\text{K}K)$：损失函数
$c(V\text{V}V,K\text{K}K,s)$：一个卷积函数，代表单层网络

1. 标准下采样卷积函数

$$\begin{array}{rl}{Z}_{i,j,k}& =c(K\text{K}K,V\text{V}V,s{)}_{i,j,k}\\ & =\sum _{l,m,n}[V_{l,(j-1)\times s+m,(k-1)\times s+n}{K}_{i,l,m,n}]\end{array}$$

2. 非共享（局部连接）卷积函数（unshared convolution）

$$\begin{array}{r}{Z}_{i,j,k}=\sum _{l,m,n}[V_{l,j-1+m,k-1+n}{K}_{i,j,k,l,m,n}]\end{array}$$

3. 平铺卷积函数（tiled convolution）

$$\begin{array}{rl}{Z}_{i,j,k}& =\sum _{l,m,n}[V_{l,j-1+m,k-1+n}{K}_{i,l,m,n,j\%t+1,k\%t+1}]\end{array}$$

---

---

花海《深度学习》中第九章第五节公式(9.11)(9.13)的推导。

首先是这两个公式的基本内容：

• 公式(9.11)：
  $$\begin{array}{rl}g(G\text{G}G,V\text{V}V,s{)}_{i,j,k,l}& =\frac{\partial }{\partial K_{i,j,k,l}}J(V\text{V}V,K\text{K}K)\\ & =\sum _{m,n}{G}_{i,m,n}{V}_{j,(m-1)\times s+k,(n-1)\times s+l}\end{array}$$
• 公式(9.13)：
  $$\begin{array}{rl}h(K\text{K}K,G\text{G}G,s{)}_{i,j,k}& =\frac{\partial }{\partial V_{i,j,k}}J(V\text{V}V,K\text{K}K)\\ & =\sum _{\genfrac{}{}{0ex}{}{l,m}{s.t.(l-1)\times s+m=j}}\sum _{\genfrac{}{}{0ex}{}{n,p}{s.t.(n-1)\times s+p=k}}\sum _q{K}_{q,i,m,p}{G}_{q,l,n}\end{array}$$

---

推导过程

1. 公式(9.11)的推导

$$\begin{array}{rl}g(G\text{G}G,V\text{V}V,s{)}_{i,j,k,l}& =\frac{\partial }{\partial K_{i,j,k,l}}J(V\text{V}V,K\text{K}K)\\ & =\sum _{\alpha ,\beta ,\gamma }\frac{\partial Z_{\alpha ,\beta ,\gamma }}{\partial K_{i,j,k,l}}\frac{\partial }{\partial Z_{\alpha ,\beta ,\gamma }}J(V\text{V}V,K\text{K}K)\\ & =\sum _{\alpha ,\beta ,\gamma }\frac{\partial Z_{\alpha ,\beta ,\gamma }}{\partial K_{i,j,k,l}}{G}_{\alpha ,\beta ,\gamma }\\ & =\sum _{\alpha ,\beta ,\gamma }{G}_{\alpha ,\beta ,\gamma }\frac{\partial Z_{\alpha ,\beta ,\gamma }}{\partial K_{i,j,k,l}}\\ & =\sum _{\alpha ,\beta ,\gamma }{G}_{\alpha ,\beta ,\gamma }\frac{\partial }{\partial K_{i,j,k,l}}c(K\text{K}K,V\text{V}V,s{)}_{\alpha ,\beta ,\gamma }\\ & =\sum _{\alpha ,\beta ,\gamma }{G}_{\alpha ,\beta ,\gamma }\frac{\partial }{\partial K_{i,j,k,l}}\sum _{\eta ,\xi ,\phi }[V_{\eta ,(\beta -1)\times s+\xi ,(\gamma -1)\times s+\phi }{K}_{\alpha ,\eta ,\xi ,\phi }]\\ & =\sum _{\alpha ,\beta ,\gamma }{G}_{\alpha ,\beta ,\gamma }\sum _{\eta ,\xi ,\phi }[V_{\eta ,(\beta -1)\times s+\xi ,(\gamma -1)\times s+\phi }\frac{\partial }{\partial K_{i,j,k,l}}{K}_{\alpha ,\eta ,\xi ,\phi }]\\ & =\sum _{i,\beta ,\gamma }{G}_{i,\beta ,\gamma }{V}_{j,(\beta -1)\times s+k,(\gamma -1)\times s+l}\Leftarrow \{\begin{array}{ll}\alpha & =i\\ \eta & =j\\ \xi & =k\\ \phi & =l\end{array}\\ & =\sum _{\beta ,\gamma }{G}_{i,\beta ,\gamma }{V}_{j,(\beta -1)\times s+k,(\gamma -1)\times s+l}\\ & =\sum _{m,n}{G}_{i,m,n}{V}_{j,(m-1)\times s+k,(n-1)\times s+l}\Leftarrow \{\begin{array}{ll}m& \leftarrow \beta \\ n& \leftarrow \gamma \end{array}\end{array}$$

2. 公式(9.13)的推导

h ( K , G , s ) i , j , k = ∂ ∂ V i , j , k J ( V , K ) = ∑ α , β , γ ∂ Z α , β , γ ∂ V i , j , k ∂ ∂ Z α , β , γ J ( V , K ) = ∑ α , β , γ ∂ Z α , β , γ ∂ V i , j , k G α , β , γ = ∑ α , β , γ ∂ c ( K , V , s ) α , β , γ ∂ V i , j , k G α , β , γ = ∑ α , β , γ { ∂ ∂ V i , j , k ∑ η , ξ , φ [ V η , ( β − 1 ) × s + ξ , ( γ − 1 ) × s + φ K α , η , ξ , φ ] } G α , β , γ = ∑ α , β , γ { ∑ η , ξ , φ [ ∂ V η , ( β − 1 ) × s + ξ , ( γ − 1 ) × s + φ ∂ V i , j , k K α , η , ξ , φ ] } G α , β , γ = ∑ α , β , γ K α , η , ξ , φ G α , β , γ w h e r e { η = i ( β − 1 ) × s + ξ = j ( γ − 1 ) × s + φ = k = ∑ α , β , γ K α , i , ξ , φ G α , β , γ w h e r e { ( β − 1 ) × s + ξ = j ( γ − 1 ) × s + φ = k = ∑ β , ξ s . t . ( β − 1 ) × s + ξ = j ∑ γ , φ s . t . ( γ − 1 ) × s + φ = k ∑ α K α , i , ξ , φ G α , β , γ = ∑ l , m s . t . ( l − 1 ) × s + m = j ∑ n , p s . t . ( n − 1 ) × s + p = k ∑ q K q , i , m , p G q , l , n ⇐ { q ← α l ← β n ← γ m ← ξ p ← φ \begin{aligned} h(\pmb{K},\pmb{G},s)_{i,j,k}&=\frac{\partial}{\partial{V_{i,j,k}}}J(\pmb{V},\pmb{K}) \\ &= \sum_{\alpha,\beta,\gamma}\frac{\partial{Z_{\alpha,\beta,\gamma}}}{\partial{V_{i,j,k}}}\frac{\partial}{\partial{Z_{\alpha,\beta,\gamma}}} J(\pmb{V},\pmb{K})\\ &= \sum_{\alpha,\beta,\gamma}\frac{\partial{Z_{\alpha,\beta,\gamma}}}{\partial{V_{i,j,k}}}G_{\alpha,\beta,\gamma}\\ &= \sum_{\alpha,\beta,\gamma}\frac{\partial c(\pmb{K},\pmb{V},s)_{\alpha,\beta,\gamma}}{\partial{V_{i,j,k}}} G_{\alpha,\beta,\gamma}\\ &= \sum_{\alpha,\beta,\gamma}\{\frac{\partial}{\partial{V_{i,j,k}}} \sum_{\eta,\xi,\varphi}[V_{\eta,(\beta-1)\times s+\xi,(\gamma-1)\times s+\varphi}K_{\alpha,\eta,\xi,\varphi}]\} G_{\alpha,\beta,\gamma}\\ &= \sum_{\alpha,\beta,\gamma}\{\sum_{\eta,\xi,\varphi}[\frac{\partial V_{\eta,(\beta-1)\times s+\xi,(\gamma-1)\times s+\varphi}}{\partial{V_{i,j,k}}} K_{\alpha,\eta,\xi,\varphi}]\} G_{\alpha,\beta,\gamma}\\ &=\sum_{\alpha,\beta,\gamma} K_{\alpha,\eta,\xi,\varphi} G_{\alpha,\beta,\gamma} \qquad where\begin{cases}&\eta=i\\ &(\beta-1)\times s+\xi=j\\ &(\gamma-1)\times s+\varphi=k \end{cases}\\ &=\sum_{\alpha,\beta,\gamma} K_{\alpha,i,\xi,\varphi} G_{\alpha,\beta,\gamma} \qquad where\begin{cases}&(\beta-1)\times s+\xi=j\\ &(\gamma-1)\times s+\varphi=k \end{cases}\\ &=\sum_{\beta,\xi \above{0pt} s.t. (\beta-1)\times s+\xi=j}\sum_{\gamma,\varphi\above{0pt} s.t. (\gamma-1)\times s+\varphi=k}\sum_{\alpha}K_{\alpha,i,\xi,\varphi}G_{\alpha,\beta,\gamma}\\ &=\sum_{l,m \above{0pt} s.t. (l-1)\times s+m=j}\sum_{n,p\above{0pt} s.t. (n-1)\times s+p=k}\sum_{q}K_{q,i,m,p}G_{q,l,n} \qquad \Leftarrow \begin{cases}q&\gets\alpha \\ l&\gets\beta \\ n&\gets \gamma \\ m&\gets \xi\\ p&\gets\varphi \\\end{cases} \end{aligned} h(KKK,GGG,s)i,j,k​​=∂Vi,j,k​∂​J(VVV,KKK)=α,β,γ∑​∂Vi,j,k​∂Zα,β,γ​​∂Zα,β,γ​∂​J(VVV,KKK)=α,β,γ∑​∂Vi,j,k​∂Zα,β,γ​​Gα,β,γ​=α,β,γ∑​∂Vi,j,k​∂c(KKK,VVV,s)α,β,γ​​Gα,β,γ​=α,β,γ∑​{∂Vi,j,k​∂​η,ξ,φ∑​[Vη,(β−1)×s+ξ,(γ−1)×s+φ​Kα,η,ξ,φ​]}Gα,β,γ​=α,β,γ∑​{η,ξ,φ∑​[∂Vi,j,k​∂Vη,(β−1)×s+ξ,(γ−1)×s+φ​​Kα,η,ξ,φ​]}Gα,β,γ​=α,β,γ∑​Kα,η,ξ,φ​Gα,β,γ​where⎩⎪⎨⎪⎧​​η=i(β−1)×s+ξ=j(γ−1)×s+φ=k​=α,β,γ∑​Kα,i,ξ,φ​Gα,β,γ​where{​(β−1)×s+ξ=j(γ−1)×s+φ=k​=s.t.(β−1)×s+ξ=jβ,ξ​∑​s.t.(γ−1)×s+φ=kγ,φ​∑​α∑​Kα,i,ξ,φ​Gα,β,γ​=s.t.(l−1)×s+m=jl,m​∑​s.t.(n−1)×s+p=kn,p​∑​q∑​Kq,i,m,p​Gq,l,n​⇐⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧​qlnmp​←α←β←γ←ξ←φ​​