惊艳！为艺术而生的算法

作者 | Jack Cui

来源 | Jack Cui（ID：JackCui-AI）

周一，看到 arXiv 新发了一篇非常有趣的论文：「Stylized Neural Painting」。

看着很有意思，文章就先写出来了，这简直就是为艺术而生的算法，看下效果：

你没看错，算法根据我们提供的图片，自动一笔一划的创作油画！

图像风格迁移算法，一直都有人研究，但之前的效果多少差点意思，而这个刚刚发表的「Stylized Neural Painting」效果有了不错的提升。

准备好的你画笔和键盘，今天继续手把手教学。

算法原理、环境搭建、效果实现，一条龙服务，尽在下文！

Stylized Neural Painting

论文提出了一种图片转画作的算法，生成的画作效果逼真，风格可控。

与以往图片风格迁移算法不同，算法是根据提供的图片推导作画的每一个笔划，做到了「一笔一划」的作画效果。

设计了新的神经网络渲染器，模拟矢量渲染器的行为，将笔画预测作为参数搜索过程，以最大限度提高输入和渲染输出之间的相似性。

用栅格化网络和阴影网络的双通道神经网络渲染器实现颜色和形状的解耦，该方法生成的图像无论在整体外观还是局部纹理上都具有较高的保真度。

右下角小图是原图，大图是算法转换的油画作品。

除了油画风格，还有水彩笔、记号笔的画风：

还有颜色或纹理的风格迁移：

更详细的内容，可以直接看 paper：

https://arxiv.org/abs/2011.08114

效果测试

Github 项目地址：

https://github.com/jiupinjia/stylized-neural-painting

第一步：搭建测试环境。

根据 Requirements.txt 安装依赖库即可，很简单。

没有什么特殊的库。

第二步：下载训练好的模型权重文件，一共有四个模型，我直接打包好了。

我将程序和权重文件都进行了打包，嫌麻烦，可以下载直接使用。

下载地址（提取码：jack）：

https://pan.baidu.com/s/1stm0wWpama9MrAcA1jhCzg

第三步：在工程目录，运行程序。

python demo_prog.py --img_path ./test_images/apple.jpg --canvas_color 'white' --max_m_strokes 500 --max_divide 5 --renderer oilpaintbrush --renderer_checkpoint_dir checkpoints_G_oilpaintbrush

img_path：要输入的图片。

canvas_color：可以理解为画板的背景颜色。

max_m_strokes 和 max_divide：控制笔划的大小，画作最后的细致程度。

renderer：画作风格，可选参数有watercolor、markerpen、oilpaintbrush、rectangle。

renderer_checkpoint_dir：权重文件路径。

最终的生成效果会根据笔划，由少到多，保存在 output 文件夹里。

运行效果：

运行在 RTX 2060 super 上，花费大约 5 分钟，最终效果：

更多精彩推荐

☞一年加班几百小时，我是二胎宝妈，更是敢拼的女程序员
☞华为鲲鹏高校行长沙启航，助力基础研究成果转化
☞小米集团王嵋因错误表达致歉并请辞；亚马逊云服务出现中断，许多网站受到影响；deepin 深度系统更新发布|极客头条
☞U^2-Net跨界肖像画，完美复刻人物细节，GitHub标星2.5K+

☞想在边缘运行计算机视觉程序？先来迎接挑战！
☞《中国区块链发展报告（2020）》导读：全球区块链政策及监管重点趋势

点分享点点赞点在看