译者按:将一张普通风景照片迅速变为大师笔下的画作,神奇的Prisma在推出不长时间后便迅速席卷业界,成为又一个互联网“爆款”。作为一家同样致力于图像识别、处理的技术公司,我们并不打算跟风去赚取眼球,但出于对好奇心,我们还是进行了相关的研究和开发,并把结果放入到小程序中分享出来。这篇文章即是Prisma背后的技术原理,转自Christopher Burger博士私人的博客。我个人觉得原理解释的比较清楚,所以也花点时间挑选主要部分翻译出来,与大家分享。个人能力有限,如果有翻译不周的地方,欢迎私信交流。
另:他在文中的提及的DeepArt即是该技术的真正开创者,Prisma即受此启发而来,原理都是一样的。
下围棋和生成让观众兴趣盎然的艺术图像是两个很难教给计算机人工智能的任务,然而AlphaGo和Deepart两个系统都证明了它们可以很好的完成教给他们的事。同时,两个系统都碰巧依赖卷积网络,于是我决定写下这篇关于此技术的文章。
如何把一张图片的风格融入到另一张图片中?
DeepArt创始团队搭建了这样一个系统:可以将这样的两张图片:一张 是艺术作品,比如著名的绘画;另一张是任意的照片,然后通过一种有趣的方式输出成一张图片,一张混合了原始照片的内容与绘画风格的新图片。用deepart团队的说法如下:
图像合成的方法是通过找到一副图像同时匹配照片的内容和艺术图像的风格。虽然源照片的全局布置被保存,颜色和局部的结构这些组成全局场景的要素则由艺术图像提供。这有效的赋予了照片艺术品的样式,既合成图像的外观与艺术品相似,即使它显示了与照片相同的内容。
接下来,我现在将解释deepart团对怎么实现这点的。为了让大家更好的理解,我需要先花点时间,介绍一些卷积网络的知识。
卷积网络
资料来源:维基媒体
卷积神经网络(或简称为卷积网络)是人工神经网络的一个子类,它尤其适合用图像作为输入。一个卷积神经网络的输出可以是一个分类的结果(例如“这幅图像包含机器人”),或者一副或多幅图像(例如输出图像是源输入图像的降噪或去模糊版本)。