本次创新实训,我们的项目是基于深度学习的中国传统特色图像的风格迁移。
项目目标:
实现水墨画和剪纸等中国传统艺术形式的风格迁移算法。
完成一个可供用户操作的系统,包括上传图片、压缩、预处理、风格迁移等模块。
首先介绍一下风格迁移:每一幅画都有自己的风格,而用户又想将自己的东西变成与名画相同的风格,这就叫做风格迁移。以往的风格迁移是分析某一种风格的图像,给那一种风格建立一个数学或者统计模型,再改变要做迁移的图像让它能更好的符合建立的模型。采用这种方法,每个程序只能实现某一种风格或者某一个场景。因此这种传统的风格迁移的实际应用很有限。2015年德国人Gatys提出了基于卷积神经网络的图像风格迁移。利用神经网络,可以实现更多的图像风格迁移。
基于此我们提出了中国传统特色图像的风格迁移。主要难点有以下方面:
- 水墨画存在大量的留白空间。
- 剪纸的纹理特征是线性的,无法直接通过神经网络学习出来。
- 剪纸更加注重表达边缘信息。
- 剪纸上有很多重复的pattern。
在项目中我的工作是负责算法的实现和APP的构建。因为对神经网络还没有完全的掌握使用,因此还处于学习和查找资料阶段。
初步想法是,针对水墨画风格,可以将原图进行分层处理,将大块连续部分进行留白处理。针对剪纸风格,先结合“卢雪剪纸集”对专门图像进行处理,先提取原图像的边缘信息,再建立一 一对应的剪纸和原图像训练集,进行学习。
本周的主要工作是研究了Gatys发表在CVPR 2016 上的文章Image