当我们拍一张风景图的时候,想要把这张风景图转成各种风格的图像,如果使用PS去做,可能需要经过一道道复杂的工序,但这里有了深度学习算法之后,就能够轻轻松松达到这种效果,只需要运行程序就好了。这里用到的就是风格迁移网络了。
什么是风格迁移?
风格迁移将一张图片的内容保留,同时将图像风格转移成另一张图片的风格,比如梵高风格。下面就是一些典型的例子,可以将原本的照片转换成梵高的画作风格,但是依旧保留着原本图片的主体内容。
风格迁移历程
风格迁移最开始是从A Neural Algorithm of Artistic Style这篇文章中提出的,但是只能实现固定风格固定内容的风格迁移,也就是说每次想要处理一张新的图片都需要重新训练一次网络。后续Perceptual Losses for Real-Time Style Transfer and Super-Resolution又提出了固定风格随意内容的风格迁移,也就意味着处理不同的图片不需要重新训练网络,针对某一种风格训练好网络就可以处理各种各样的图片。但是需要生成其他风格的图片,还得再训练新的网络。Meta Networks for Neural Style Transfer提出了一种随意风格随意内容的风格迁移网络,训练完成,只需要输入网络随意风格图片和内容图片即可完成处理。
固定风格固定内容的普通风格迁移
图像经过卷积层后得到的特征图的协方差矩阵可以很好地表征图像的纹理特征,但是会损失位置信息。不过在风格迁移的任务中,我们可