图像/视频生成模型中常见的条件融合方式

图像/视频生成模型中常见的条件融合方式

目前生成模型主要有4中常见的条件融合方式以实现可控生成：条件归一化层，Decoupled Cross-Attention，self-attention层进行融合，特征值逐元素求和。本文首先介绍下各种方法现，然后进行总结，最后提出一下展望。

1. 条件归一化层
   过去和现在的一些工作，会通过条件归一化层将一些条件（比如类别和文本）融合到生成模型以实现条件可控生成。假设生成模型某层的特征是$x\in R^{b\times hw\times c}$, $P$是输入条件，$f(P)$是条件特征提取网络，常见的范式如下：
   $$\begin{gathered} f(P)=\gamma ,\beta \\ y=\gamma \frac{x-\mu }{\sigma +ϵ}+\beta \end{gathered}$$, 其中$\mu ,\sigma$分别是$x$的均值和方差, $y$将要作为生成模型下一层的输入, $ϵ$是较小常量防止数值问题（为了方便，后文省略）。

   (1) Adaptive Instance Normalization (AdaIN)
   $$\begin{gathered} f(P)=\gamma ,\beta (\gamma \in R^{b\times 1\times c},\beta \in R^{b\times 1\times c}) \\ y=\gamma \frac{x-\mu }{\sigma }+\beta (\mu \in R^{b\times 1\times c},\sigma \in R^{b\times 1\times c}) \end{gathered}$$
   (2) 为解决条件归一化层（比如AdaIN和条件BatchNorm）缺失空间信息的问题, SPatially-Adaptive DEnormalization (SPADE, 2019)提出具有空间维度的$\gamma ,\beta$：
   $$\begin{gathered} f(P)=\gamma ,\beta (\alpha \in R^{1\times hw\times c},\beta \in R^{1\times hw\times c}) \\ y=\gamma \frac{x-\mu }{\sigma }+\beta (\mu \in R^{1\times 1\times c},\gamma \in R^{1\times 1\times } \end{gathered}$$