A Content Transformation Block For Image Style Transfer(一个对图片风格转换的内容转换块)

A Content Transformation Block For Image Style Transfer

论文主要贡献:
1该论文明确地关注内容图像的内容感知和样式感知的样式化。
2而且提出了一个归一化层来提高风格化后分辨率。
在这里插入图片描述
首先该论文实验结果如下图,在特征空间中将风格图与内容相匹配的内容图放到一起。

在到下图所示,匹配后的图片风格转换后内容图细节保留的更好。
在这里插入图片描述

作者利用照片和样式样本中出现的类似内容来了解样式如何改变内容细节,证明可以,其实就是把相似内容图分类后再训练,作者发现效果更好。

分离内容和风格方法
利用低层特征进行纹理传递,高层信息利用神经网络表示内容

Content transformation Block

因为不同艺术家会有不同笔触风格。就意味着一个风格化图应该以一种艺术家特定风格而不是任意物体来做训练数据集。所以作者通过提取类似内容图像来加强这种能力,在潜在空间中相近的同时,保持不同内容图彼此分离。
如下图公式,是用GAN训练内容,Dc是内容分类的判别器。T是作者提出的一个用来转换Encoder的输出表示,也就是Content transformation block。c是艺术图片Y的内容类。
在这里插入图片描述
下图是两个交替训练步骤,第一个是用来获得风格同时保持输入图片的内容信息。第二个是用来训练内容转换块T。
在这里插入图片描述

Local Feature Normalization Layer
是该论文的另一个创新点,用来提高图片的分辨率。因为卷积网络转换图片域时会造成域的改变,或者分辨率变化。 原因是实例归一化层(Instance normalization)过于适合于图像统计,而该层无法推广到另一幅图像。所以该作者用强局部特征正则化层来改进。总公式如下图:
在这里插入图片描述
其中Bwsg是下图公式:是应用于张量T的局部特征归一化层的表达式。用这个求均值和偏差能简化计算。
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值