我们虽然在改进风格迁移中改进了传统的神经风格迁移,但是仍然只能使用训练所得的固定数量的风格。因此我们要学习另一种允许实时任意风格迁移的神经网络模型,获得更多创意选择。
自适应实例规范化
AdaIN(adaptive instance normalization)
是实例归一化的一种,这意味着其均值和标准差是在每个图像和每个通道 (H, W)
上计算的。在 CIN
中,γγγ 和 βββ 系数是可训练的变量,它们学习不同风格所需的均值和方差。在AdaIN中,γγγ 和 βββ 被风格特征的标准差和均值所取代:
AdaIN(x,y)=σ(y)x−μ(x)σ(x)+μ(y)AdaIN(x,y)=\sigma(y)\frac {x-\mu (x)}{\sigma(x)} + \mu(y)AdaIN(x,y)=σ(y)σ(x)x−μ(x)+μ(y)
AdaIN
仍可以理解为条件实例规范化的一种形式,其中条件是风格特征而不是风格标签。在训练和推理时,我们使用VGG提取风格层输出并将其统计信息用作风格条件,这样避免了只能预先定义一组固定风格。 使用TensorFlow来创建自定义AdaIN层: