Gram 矩阵和风格迁移

Gatys 等人在开创风格迁移这一方向的论文中提出可以用 Gram 矩阵衡量从网络中提取的特征之间的风格相关性, 也就是利用 Gram 矩阵计算 Style Loss. 然而, 作者并未明确指出 Gram 矩阵为何能表示风格. 通过查阅资料, 我找到以下结论:

• 图像的风格本质上可以用CNN不同层的特征分布来表示.
• 风格转移可以看作是一个从内容图像到风格图像的特征分布逐渐接近过程.

首先回忆 Gatys 等人表示 Style Loss 的方法. 方法给定内容图片${\mathbf{x}}_c$和风格图片 ${\mathbf{x}}_s$, 希望生成风格化图片 ${\mathbf{x}}^{\ast }$, ${\mathbf{x}}^{\ast }$, ${\mathbf{x}}_c$和${\mathbf{x}}_s$ 在CNN第$l$层提取出的特征像分别为 ${\mathbf{F}}^l,{\mathbf{P}}^l,{\mathbf{S}}^l\in {\mathbb{R}}^{N_l\times M_l}$. 其中 $N_l$ 为第 $l$ 层的特征项的个数, $M_l$ 为特征项的长乘宽.

我们来考察 Style Loss 的表达式,
$$L_{\text{style}}^l=\frac{1}{4N_l^2{M}_l^2}\sum _{i=1}^{N_l}\sum _{j=1}^{N_l}(G_{ij}^l-A_{ij}^l{)}^2,$$
其中 Gram 矩阵 $G^l\in {\mathbb{R}}^{N_l\times N_l}$ 为 $l$ 层向量化特征映射的内积:
$$G_{ij}^l=\sum _{k=1}^{M_l}{F}_{ik}^l{F}_{jk}^l,$$
${\mathbf{A}}^l$ 也是 ${\mathbf{S}}^l$ 对应的 Gram 矩阵.

核函数

核函数到再生希尔伯特空间的内容具体可以参见 From Zero to Reproducing Kernel Hilbert Spaces in Twelve Pages or Less. 下面简单写写我的理解, 函数 $f(\mathbf{x})$ 可以看做无穷维向量, 定义一个二元函数 $K(\mathbf{x},\mathbf{y})$, 我们可以将其看做一个无穷维矩阵. 若 $K$ 是对称的且是半正定的, 则称 $K$ 为一个核函数.

一个核函数存在特征值$\lambda$和特征向量$\varphi (x)$使得
$$\int K(\mathbf{x},\mathbf{y})\varphi (\mathbf{x})\mathrm{d}\mathbf{x}=\lambda \varphi (\mathbf{y})$$
容易证明不同特征值${\lambda }_1,{\lambda }_2$对应的特征向量${\varphi }_1,{\varphi }_2$ 的内积 $<{\varphi }_1,{\varphi }_2>=\int {\varphi }_1(\mathbf{x}){\varphi }_2(\mathbf{x})\mathrm{d}\mathbf{x}=0.$
Mercer’s theorem 指出, 对于核函数, 存在无穷多个特征值 { λ i } i = 1 ∞ \{\lambda_i\}_{i=1}^\infty {λi​}i=1∞​ 对应无穷多个特征函数 { ϕ i } i = 1 ∞ \{\phi_i\}_{i=1}^\infty {ϕi​}i=1∞​, 使得
$$K(\mathbf{x},\mathbf{y})=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(\mathbf{x}){\varphi }_i(\mathbf{y}),$$
即 { ϕ i } i = 1 ∞ \{\phi_i\}_{i=1}^\infty {ϕi​}i=1∞​ 是函数空间的一组正交基.

多项式核是一种常用的核函数, 表达形式为
$$K(\mathbf{x},\mathbf{y})=(\gamma {\mathbf{x}}^T\mathbf{y}+C{)}^d.$$

Reproducing Kernel Hilbert Space

令 { λ ϕ i } i = 1 ∞ \{\sqrt{\lambda}\phi_i\}_{i=1}^\infty {λ ​ϕi​}i=1∞​ 作为希尔伯特空间 $\mathcal{H}$ 的一组正交基. $\forall f\in \mathcal{H}$,
$$f=\sum _{i=1}^{\infty }{f}_i\sqrt{{\lambda }_i}{\varphi }_i,$$
则对于$\mathcal{H}$ 中两个函数$f=(f_1,f_2,\dots {)}_{\mathcal{H}}^T,g=(g_1,g_2,\dots {)}_{\mathcal{H}}^T$, 有
$$<f,g{>}_{\mathcal{H}}=\sum _{i=1}^{\infty }{f}_i{g}_i.$$
对于核函数$K$, 我们固定其中一个变量$\mathbf{x}$, 则得到
$$K(\mathbf{x},\cdot )=\sum _{i=o}^{\infty }{\lambda }_i{\varphi }_i(\mathbf{x})\varphi ,$$
也是空间 $\mathcal{H}$ 中的函数. 因此
$$<K(\mathbf{x},\cdot ),K(\mathbf{y},\cdot ){>}_{\mathcal{H}}=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(\mathbf{x}){\varphi }_i(\mathbf{y})=K(\mathbf{x},\mathbf{y})$$
这就是再生性质, $\mathcal{H}$被称为再生核希尔伯特空间(RKHS).

有了RKHS, 我们就可以将一个分布映射到再生希尔伯特空间上的一个点, 这样两个分布之间的距离就可以用两个点的内积进行表示.

Maximum Mean Discrepancy

MMD 常被用来度量两个分布之间的距离, 是迁移学习中常用的损失函数. 定义如下, X = { x i } i = 1 n X=\{\mathbf x_i\}_{i=1}^n X={xi​}i=1n​ 的分布为 $p$, Y = { y j } j = 1 m Y=\{\mathbf y_j\}_{j=1}^m Y={yj​}j=1m​ 的分布为 $q$, 取核函数为$\gamma =1,C=0,d=2$的多项式核函数, 有
$$\begin{array}{rl}{\text{MMD}}^2[X,Y]=& \Vert {\mathbf{E}}_p[\varphi (\mathbf{x})]-{\mathbf{E}}_q[\varphi (\mathbf{y})]{\Vert }^2\\ =& \Vert \frac{1}{n}\sum _{i=1}^n\varphi ({\mathbf{x}}_i)-\frac{1}{m}\sum _{j=1}^m\varphi ({\mathbf{y}}_j){\Vert }^2\\ =& \frac{1}{n^2}\sum _{i=1}^n\sum _{i^{\prime }=1}^n\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_{i^{\prime }})+\frac{1}{m^2}\sum _{j=1}^n\sum _{j^{\prime }=1}^n\varphi ({\mathbf{y}}_j{)}^T\varphi ({\mathbf{y}}_{j^{\prime }})\\ & -\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^m\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{y}}_j)\\ =& \frac{1}{n^2}\sum _{i=1}^n\sum _{i^{\prime }=1}^{n}K({\mathbf{x}}_i,{\mathbf{x}}_{i^{\prime }})+\frac{1}{m^2}\sum _{j=1}^n\sum _{j^{\prime }=1}^{n}K({\mathbf{y}}_j,{\mathbf{y}}_{j^{\prime }})-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^{m}K({\mathbf{x}}_i,{\mathbf{y}}_j).\end{array}$$

风格损失

我们重写风格损失表达式,
$$\begin{array}{rl}{L}_{\text{style}}^l=& \frac{1}{4N_l^2{M}_l^2}\sum _{i=1}^{N_l}\sum _{j=1}^{N_l}(\sum _{k=1}^{M_l}{F}_{ik}^l{F}_{jk}^l-\sum _{k=1}^{M_l}{S}_{ik}^l{S}_{jk}^l{)}^2\\ =& \frac{1}{4N_l^2{M}_l^2}\sum _{i=1}^{N_l}\sum _{j=1}^{N_l}\left(\right(\sum _{k=1}^{M_l}{F}_{ik}^l{F}_{jk}^l{)}^2+(\sum _{k=1}^{M_l}{S}_{ik}^l{S}_{jk}^l{)}^2-2(\sum _{k=1}^{M_l}{F}_{ik}^l{F}_{jk}^l\left)\right(\sum _{k=1}^{M_l}{S}_{ik}^l{S}_{jk}^l\left)\right)\\ =& \frac{1}{4N_l^2{M}_l^2}\sum _{i=1}^{N_l}\sum _{j=1}^{N_l}\sum _{k_1=1}^{M_l}\sum _{k_2=1}^{M_l}(F_{i{k}_1}^l{F}_{j{k}_1}^l{F}_{i{k}_2}^l{F}_{j{k}_2}^l+S_{i{k}_1}^l{S}_{j{k}_1}^l{S}_{i{k}_2}^l{S}_{j{k}_2}^l-2F_{i{k}_1}^l{F}_{j{k}_1}^l{S}_{i{k}_2}^l{S}_{j{k}_2}^l)\\ =& \frac{1}{4N_l^2{M}_l^2}\sum _{k_1=1}^{M_l}\sum _{k_2=1}^{M_l}\sum _{i=1}^{N_l}\sum _{j=1}^{N_l}(F_{i{k}_1}^l{F}_{j{k}_1}^l{F}_{i{k}_2}^l{F}_{j{k}_2}^l+S_{i{k}_1}^l{S}_{j{k}_1}^l{S}_{i{k}_2}^l{S}_{j{k}_2}^l-2F_{i{k}_1}^l{F}_{j{k}_1}^l{S}_{i{k}_2}^l{S}_{j{k}_2}^l)\\ =& \frac{1}{4N_l^2{M}_l^2}\sum _{k_1=1}^{M_l}\sum _{k_2=1}^{M_l}\left(\right(\sum _{i=1}^{N_l}{F}_{i{k}_1}^l{F}_{i{k}_2}^l{)}^2+(\sum _{j=1}^{N_l}{S}_{j{k}_1}^l{S}_{j{k}_2}^l{)}^2-2(\sum _{i=1}^{N_l}{F}_{i{k}_1}^l{S}_{j{k}_2}^l{)}^2)\\ =& \frac{1}{4N_l^2{M}_l^2}\sum _{k_1=1}^{M_l}\sum _{k_2=1}^{M_l}(K({\mathbf{f}}_{k_1}^l,{\mathbf{f}}_{k_2}^l)+K({\mathbf{s}}_{k_1}^l,{\mathbf{s}}_{k_2}^l)-2K({\mathbf{f}}_{k_1}^l,{\mathbf{s}}_{k_2}^l))\\ =& \frac{1}{4N_l^2}{\text{MMD}}^2[{\mathcal{F}}^l,{\mathcal{S}}^l],\end{array}$$
其中 ${\mathcal{F}}^l$ 是 ${\mathbf{x}}^{\ast }$ 的特征集, 每一个样本为 ${\mathbf{F}}^l$ 的一列, ${\mathcal{S}}^l$ 对应风格图像 ${\mathbf{x}}_s$. 这样, 特征像的每个点都被看做一个单独的样本, 求风格损失转换为求两个分布之间的差异. 因此点的位置信息就被抹掉了, 只留下了整体的特征分布信息, 在图像中具体表现为颜色、纹理等信息, 这就是风格转换想要达到的效果.

最后, 将这一结果与 AdaIN \cite{Huang2017ArbitraryST} 相比较. 简单来说, AdaIN 将内容图片在某些层特征的均值和标准差与风格图片在对应层特征的均值和标准差对齐. 主要想法同样也是将两张图片的特征信息看作两个分布, 然后使得内容图片的特征分布尽量接近风格图片的特征分布, 主要是均值和方差. Huang 等人抓住了风格的本质, 因此能够提出一种更加简单且普适的方法, 这一点值得我们学习.