ControlNeXt: Powerful and Efficient Control for Image and Video Generation(2024,8)

ControlNeXt: Powerful and Efficient Control for Image and Video Generation(2024,8)

paper
Github

进一步在ControlNet上进行了改进,主要针对一下两点

1. 对于每一个模块添加一个Zero-Conv也会占用很多显存.
2. Zero-Conv两个模态的输出的mean、var具有差异,导致收敛很慢.

针对1,使用一个轻量级的ResBlock进行替换,并且微调很小一部分参数,来替代原来的网络.

针对2,使用了Cross-Normalization,就是将在ResNet添加一个Normlization,来学习一个Mean、Var和原来输出类似的参数.具体如下:

首先对于输入$x$,计算原始模型的$\mu ,\sigma$

$$\begin{gathered} {\mathbf{\mu }}_m=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_{m,i}, \\ {\mathbf{\sigma }}_m^2=\frac{1}{n}\sum _{i=1}^n({\mathbf{x}}_{m,i}-{\mathbf{\mu }}_m{)}^2. \end{gathered}$$

然后使用这两个参数来进行Normlization.

$${\hat{\mathbf{x}}}_c=\frac{{\mathbf{x}}_c-{\mathbf{\mu }}_m}{\sqrt{{\mathbf{\sigma }}_m^2+\mathbf{ϵ}}}\ast \gamma ,$$

需要注意的是,只有scale参数$\gamma$,而没有shift参数.