1.背景介绍
人工智能(AI)应用的方方面面都在发生着翻天覆地的变化,而风格迁移也不例外。过去几年人们都有了一些创新性的研究成果,比如用神经网络生成艺术风格迁移,自动驾驶、机器翻译等等。通过分析图像或音频的特征向量,可以将其对应的风格迁移到不同的照片或音频上。随着计算机处理能力的提高,基于深度学习的人工智能模型也在不断改进,越来越准确。但风格迁移的效果还是远不及人类美学家自己设计的效果来的令人惊叹。因此如何对风格迁移进行更精细化的控制也是值得探讨的课题。
本文将以开源库Stylized-Image-Generation中的风格迁移模型(Style Transfer Network)作为示例,介绍如何利用AI来实现风格迁移。
风格迁移模型的基本思想是利用两个输入图片之间的样式差异,将一个图片的风格迁移到另一个图片上。在训练时,模型会同时优化两个图片的拉普拉斯金字塔特征图上的表示,从而得到图片的风格表示。然后,模型将内容图像的内容嵌入到风格表示中,并生成新的图像,使其具有目标图片的风格。
模型训练数据集主要包括了人类艺术家的作品、公共美术馆的风景、壁纸、互联网图片、视频,以及不同风格的绘画作品。为了提升模型的效果,需要针对每个数据集选取最具代表性的样本,进行多种类型的数据增强,如裁剪、旋转、缩放等。
在这里,我们将以Stylized-Image-Generation中的风格迁移模型为例