图像风格迁移_AI绘图基于深度学习的图像风格迁移

本文介绍了图像风格迁移的概念,通过示例展示了如何将特定风格应用到目标图片上,如将外滩照片转化为Mosaic风格。图像风格迁移主要依赖于卷积神经网络(CNN),Gatys等人的研究为此奠定了基础。CNN通过提取低层次(风格)和高层次(内容)特征来实现风格迁移。此外,该技术还可应用于视频风格迁移,并且随着移动端深度学习的发展,风格迁移技术在移动端的应用前景广阔。
摘要由CSDN通过智能技术生成

最近发现一款可以编辑图像风格的APP:Prisma。在这款APP里,可以对目标图片应用不同的图像风格从而生成新的图片。

比如可以将外滩的照片,应用Mosaic风格,得到Mosaic风格的外滩照片。看起来图片效果还挺惊艳的。

输入图像  

目标风格
e5df51b204ace0479d1f6a01c0314bb0.pnga617f65d719774032a918cc69211a046.png
生成图片
e950dda88dd731f15ce54936df086fa4.png


这样的图片处理转换过程专业点的描述就是:图像的风格迁移。与图像风格相对应的是图像的内容。一张图像可以由这两种特征描述:

542c92db6a9730e0a3b37dde6cd0fe56.png

比如说下面这张图,风格明显是中国风,图中的山、河、树则是图像的内容。

7b519cf3c7b31c1e32c9e0d42ceac5a1.png

所以图像风格迁移一般指的是把图片特征中的风格部分迁移应用到目标图片的过程。整个迁移处理的输入分别有内容图和风格图,输出就是风格迁移后的结果图。应用图像风格迁移后,可以生成相同风格的图片。

c145d9637dd91b0116d781d9ec41d715.png

使用不同风格图像的示例图:

风格

生成图片

b806aa4abaed982b7d35683716b28315.png

8761bee4d3ca71cd484d25af72b96486.png 

5ab8df5fb0b4556c4e7641f1ecece4b4.png

840868733e045e1c0fae4b9fe1caa8c3.png 

5f9b99bd7a684f7c22393e475fa0b27d.png

5018cd46916e287d70358dc6dbc30d51.png


图像的风格与内容相比,显得更为模糊,难以量化。那么如何用程序实现这样的图像风格迁移呢?事实上,目前比较主流的做法之一就是利用卷积神经网络,也就是CNN网络实现。2015 年,Gatys等人发表研究成果:A Neural Algorithm of Artistic Style,可以认为是将CNN网络应用于风格迁移的开山之作,从此之后相关的研究就层出不穷。

为什么CNN网络可以实现图像风格迁移呢?其核心点在于,CNN网络可以对图像进行不同层次的特征提取。图像具有风格和内容这两方面的视觉特征,一般可以分别对应为两个层次的特征:低层次特征高层次特征。如:纹理和色调等可以认为是低层次特征,也就是用来描述图像风格的特征;对较为抽象的图像内容的描述则为高层次特征,也就是常说的图像内容,比如说房子,河流。所以只需要选择合适的CNN模型,并训练其中能够表示图像风格和图像内容的网络层,就可以实现新图像的风格变换。

da56b3350823750d550e1b7bd6bd4d5c.png

除了图片之外,我们甚至还可以应用到视频上去,实现视频风格的迁移,帮助我们实现更加丰富多变的视频效果。比如下面油画风格的小狐狸。

496b8e6847f5c3e2a3e83990f58601ca.gif

目前也有一些基于典型风格迁移的扩展,有兴趣的可以再查找相关资料。这里举几个例子。

  • 将多种风格同时迁移到一张图像中

7782b2ce5c98bbf3e45a10447683300b.png

76896371bea3075b007950d5ef2eb0ea.png

dee3778a657fc3a036adb7412d0df9c7.png

5cf4a799725afd71368e543946a0df46.png
  • 图像局部风格迁移

79f803053b9a43499cf4f527ec0b204c.png

7782b2ce5c98bbf3e45a10447683300b.png

86d8c84f519dfd276344c5af3fd4ce92.png

a8444e43de1227fa9d1826ac5ecdab98.png 


基于图像风格迁移的方式生成图片,也是一种获取创意图片和视频的方式,甚至可以衍生出更多的营销模式。随着端上深度学习的发展,将训练好的模型部署在端上,可以直接在端上应用这些技术,移动化的应用场景和想象空间也会更大。前面提到的艺术图转换的APP基本上也是按照这种思路实现的。

下面是接下来我们会分享的内容,欢迎给我们投票反馈。对于其它感兴趣的话题,欢迎在公众号内给我们留言。

相关引用:

https://github.com/lengstrom/fast-style-transfer

https://github.com/titu1994/Neural-Style-Transfer

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值