用深度学习做个艺术画家 ——模仿实现PRISMA

本书节选自图书《机器学习之路——Caffe、Keras、scikit-learn实战》

文末评论赠送本书，欢迎留言！

丰富的实战案例讲解，介绍如何将机器学习技术运用到股票量化交易、图片渲染、图片识别等领域。

本文将探索深度学习落地到图像处理领域的方案，适合有一定深度学习实践经验的读者进阶阅读。

使用深度学习作画的起源是有三个德国研究员想把计算机调教成梵高，他们研发了一种算法，模拟人类视觉的处理方式。具体是通过训练多层卷积神经网络，让计算机识别，并学会梵高的“风格”，然后将任何一张普通的照片变成梵高的《星空》。

图9-1 deep art

后来他们开创了Deep Art公司，在Deep Art公司，负责绘画的程序员是卷积神经网络（CNN）。输入一个艺术作品，比如梵高的《星空》，卷积神经网络就会自动提取出这幅画作的“风格特征”，并转换成风格模板保存下来。也就是说，卷积神经网络可以被看作是一个机器艺术家。

Prisma第一次将这项艺术作画技术成功商业化。Prisma诞生于俄罗斯，是一个仅有4个年轻人历时一个半月开发出的图片处理应用。他们充分考虑了智能手机覆盖率的飞速增长，并且细致研究了用户行为。Prisma接入的是以亿数量级的市场，俄国总统梅德韦杰夫也成为了Prisma的用户，他在Instgram上晒出了一张Prisma作品，迅速获得8.7万个赞。

Google的Deep Dream也是一个会画画的计算机。它能够自动识别图像，筛选其中一些部分，进行夸张，以创造出一种迷幻效果。Deep Dream完全开源，在几个主流的深度学习库如Keras、Caffe的官方example中，都有Deep Dream的实现Demo。 

本章我们将探索实现类似Prisma的效果。

备注： 

本章完整项目地址：https://github.com/bbfamily/prisma_abu 
本项目演示视频：m.v.qq.com/play.html?&vid=v0397sv1fab，也可以在公众号abu_quant中直接观看视频。

机器学习初探艺术作画

好的艺术家模仿皮毛，伟大的艺术家窃取灵魂。 ——毕加索

本节介绍机器学习作画的简单原理，并展示输出效果。

艺术作画概念基础

第6章介绍了CNN如何提取图片中的图形特征，进而识别图片实物。现在，假设这里已经训练好了一个“识别毕加索绘制的猫”的深层卷积神经网络模型，如果把一张完全不同的照片输入模型，比如一张狗的照片，会发生什么呢？

图9-2 CNN反馈修改输入图片

模型会给你反馈一个概率分数，表示它相信这是一张“毕加索猫”照片的程度。这中间经历了很多CNN层，每层CNN都在狗狗照片上寻找输入样本是毕加索猫的图形特征证据，越底层的神经元分析的特征越具体，越高层越抽象。当然，最后模型会给出很低的分数。

上面在狗照上识别毕加索猫的过程中，如果让模型能够修改输入的样本又会怎样呢？

给模型网络中加一个反馈回路，让每一层网络可以朝着使最后分数变大的方向上修改狗狗照片。每次迭代网络中的每层都会在狗照上增加一些毕加索猫的特征痕迹，可以迭代很多次，让狗狗照片中加入越来越多的毕加索猫的实物特征。

这就是使用卷积神经网络艺术作画的概念基础，让艺术风格模型的CNN按图形特征修改输入图片，叠加艺术效果。大致的实现思路如下：

• 输入特征图像，训练风格模型，让计算机学会艺术风格。

• 输入待处理图，风格模型引导修改输入图片，生成新的图像，输出“艺术画”。 
  接下来将模拟Prisma的效果，实现艺术作画。

直观感受一下机器艺术家

这里我们展示一下机器艺术作画的效果，原图如图9-3所示。

 

图9-3 原图

下面我们用这几个浅层神经元对原图风格化的效果进行展示（备注：代码实现见本书Git库），如图9-4所示。

 

图9-4 机器风格作画效果展示

有没有感觉到特征的识别由浅入深的一步一步增强，也就是从edge，到shape，再到复杂的shape循序渐进的过程，这里主要是卷基层把每层的特质放大进行夸张凸显。

图9-5展示了更多其他风格作画。

 

图9-5 机器艺术作画效果图

一个有意思的实验

如果用Prisma做出一个图像，然后将它作为特征图像去引导新的图像生成会有什么效果呢？

guide = np.float32(

    tp.resize_img(PIL.Image.open('../prisma_gd/106480401.jpg')))

PrismaHelper.show_array_ipython(guide)

输出：

 

图9-6 引导图