AdaIN(adaptive instance normalization)自适应实例规范化

文章介绍了AdaIN层在风格迁移中的应用,作为实例归一化的变体,它允许在不预先定义固定风格的情况下进行实时任意风格迁移。通过使用VGG网络提取风格特征并将其统计信息用作风格条件,AdaIN能动态调整输入图像的风格。利用TensorFlow构建自定义AdaIN层,可以增加创意选择并克服传统神经风格迁移的限制。
摘要由CSDN通过智能技术生成

我们虽然在改进风格迁移中改进了传统的神经风格迁移,但是仍然只能使用训练所得的固定数量的风格。因此我们要学习另一种允许实时任意风格迁移的神经网络模型,获得更多创意选择。

自适应实例规范化

AdaIN(adaptive instance normalization)实例归一化的一种,这意味着其均值和标准差是在每个图像和每个通道 (H, W) 上计算的。在 CIN 中,γγγ 和 βββ 系数是可训练的变量,它们学习不同风格所需的均值和方差。在AdaIN中,γγγ 和 βββ 被风格特征的标准差和均值所取代:

AdaIN(x,y)=σ(y)x−μ(x)σ(x)+μ(y)AdaIN(x,y)=\sigma(y)\frac {x-\mu (x)}{\sigma(x)} + \mu(y)AdaIN(x,y)=σ(y)σ(x)x−μ(x)​+μ(y)

AdaIN 仍可以理解为条件实例规范化的一种形式,其中条件是风格特征不是风格标签。在训练和推理时,我们使用VGG提取风格层输出并将其统计信息用作风格条件,这样避免了只能预先定义一组固定风格。 使用TensorFlow来创建自定义AdaIN层:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值