AdaIN - Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

y叶罗

已于 2023-05-02 21:17:43 修改

阅读量871

点赞数

分类专栏：风格迁移 Stytle Transfer 文章标签： pytorch 计算机视觉

于 2022-10-13 22:05:36 首次发布

本文链接：https://blog.csdn.net/ricardohuang/article/details/127310586

版权

风格迁移 Stytle Transfer 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

AdaIN 是一个经典的风格迁移方法，之后在 StyleGAN（v1）中也以重要的组成模块出现。了解 AdaIN 也有助于了解其他图像生成工作。

原始论文：Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

什么是风格？What is style?

在详细介绍 AdaIN 之前，我们需要明白什么是风格，风格迁移方法要迁移的是什么？

风格迁移领域一些经典的工作¹将图像风格当作是不同图像特征之间的关系，通过修改不同图像特征之间的关系修改图像的风格。

假设1 图像风格是图像特征之间的关系。

基于以上的假设，我们介绍 AdaIN 方法。

AdaIN 方法 Method

在这里插入图片描述

Fig.1 AdaIN 方法

AdaIN 方法分成三部分，编码 Encoder，AdaIN，以及解码 Decoder。第一部分编码 Encoder 使用了预训练的 VGG 网络作为编码器，提取图像的特征，值得注意的是 Encoder 不参与参数更新，模型参数固定；第二部分 AdaIN 为本文重点，旨在将内容图像特征 $x$ 的均值 $\mu(x)$ 以及方差 $\sigma(x)$
替换成风格图像特征 $y$ 的均值 $\mu(y)$ 以及 $\sigma(y)$ 。第三部分解码器 Decoder 将变换之后的内容图像 $\hat{x}$ 重新变换到图像空间获得风格迁移之后的图像。注意，与 Encoder 不同，Decoder 网络的参数需要进行梯度更新。

AdaIN 通过计算图像特征的均值以及方差来建模图像的风格，通过改变图像特征的均值以及方差来改变图像的风格。

具体的 AdaIN 计算公式如下

$\mathsf{AdaIN}(x,y) = \sigma(y)\big(\frac{x-\mu(x)}{\sigma(x)}\big)+\mu(y)$

如果按照比较抽象的角度想，我们可以认为 $x$ 与 $y$ 分别位于“风格1空间”以及“风格2空间”，对 $x$ 进行正则化 $\frac{x-\mu(x)}{\sigma(x)}$ 是将 $x$ 投影到内容空间中得到内容特征 $C (x)$ ，之后将内容特征从内容空间投影到“风格2空间”中得到风格迁移之后的结果。

之后为了约束模型的训练，该工作提出了内容损失 Content loss $\mathcal{L}_C$ 以及风格损失 Style loss $\mathcal{L}_{S}$ 。Content loss 使用编码器提取生成图像的特征，将其约束与之前变换得到的特征 $\mathsf{AdaIN}(x,y)$ 一致，以此进行内容约束。而 Style loss 则根据编码器中的若干层提起的特征进行风格的度量（计算特征图的均值和方差），将生成的图像以及风格图像的特征风格进行约束，使得生成图像的风格与风格图像一致，实现风格约束。