风格迁移:以另⼀种风格渲染图像,内容和图1相似,风格和图2相似,形成图3
2015年Gatys使用 CNN 以不同风格呈现内容图像的过程称为神经风格迁移 (NST),主要采用了迭代优化循环思想使用VGG-19 网络从纹理图像和合成纹理中提取特征,通过梯度下降修改合成的纹理,随后应用到风格转换。其中主要采用了迭代优化循环,运行成本高。
2016年Ulyanov和Johnson等人引入了前馈风格迁移网络VGG经过训练,可以在⼀次传递中从内容转换为拼贴图像,解决运行成本,但不足为每种要模仿的 风格训练单独训练网络。
条件实例规范化:风格迁移网络的所有卷积权重都可以在多种风格之间共享,并且在对每种风格进行规范化后调整仿射变换的参数
2017年Dumoulin提出条件实例规范化,即N 类前馈式传输⽹络,使⽤批⼤小为 N 的⽹络的单次前馈传递将单个图像⻛格化为 N 种绘画⻛格
基于笔触的渲染 (SBR) 是指将虚拟笔触(例如,画笔笔触、拼贴、点画)放置在数字画布上以渲染具有特定风格的照片的过程
基于区域的渲染是结合区域分割,以便根据区域内容进行渲染调整
基于示例的渲染的目标是学习示例对之间的映射图像类比旨 在以监督的方式学习一对源图像和目标风格化图像之间的映射。
语义风格迁移。给定一对内容相似的风格和内容图像,语义风格迁移 的目标是在风格和内容之间建立语义对应关系,将每个风格区域映射到相应的语义相似的内容区域。
实例风格迁移。实例风格迁移建立在实例分割的基础上,旨在对图像中单个用户指定的对象进行风格化。
时尚风格迁移。时尚风格迁移以时尚风格图像为目标,生成具有所需时尚风格的
服装图像。