涂鸦秒变动画，CMU 中国本科生让画动起来（附代码 Demo）

公众号关注 “GitHubDaily”

设为 “星标”，每天带你逛 GitHub！

转自量子位，作者郭一璞

凡人的世界，绘画就是静态的。但在一个神秘的计算机世界，一切都不一样，不信你看。

画一个独角兽，然后轻轻一点。

独角兽就 “活了”，奔跑跳动、跃然纸上。

给它取个名，再轻轻一点 —— 拥有姓名的独角兽，就从纸面进入一个三维世界，开始不知疲倦的翻越，一座座山丘……

这个世界里，还生活着各种奇奇怪怪的生物。

比方藏在人群中扭秧歌的蜗牛。

看，长了四只脚的怪物：

在天上行走的渔夫，怕不是个仙人：

带着帽子的鬼怪绅士

连一草一木都能成精：

卡通人物也可以，你看有哆啦 A 梦：

黄皮耗子皮卡丘，这次没长毛：

还有神奇的大方脸：

这些小家伙，都是吃瓜群众们画出来的。

在这个虚拟世界里，只要寥寥几笔涂鸦，所绘之物尽成真，堪称真神笔马良。它们在同一片天地间奔跑，魑魅魍魉纠缠，宛如百鬼夜行。

这个，就是正在 CMU 就读的中国小哥 Lingdong Huang 同学创造的涂鸦世界，在这个世界里，任何人都能像神笔马良一样，随便一画，即刻成真。

不少吃瓜群众看到之后纷纷惊叹：

这特么简直是魔法

好喜欢这些涂鸦，我能连着看好几天哈哈。

简直像诗一样，都是有血有肉的形象，在一个自然随性的地方飘荡。

怎么做到的

明明是随意的涂画，竟然能自动分辨出小鬼怪们的 “胳膊” 和 “腿儿”，还能有节奏的活动，这些涂鸦是怎么 “活” 过来的？

“造物主” 黄同学用了三个步骤来完成这个世界的构建。

给涂鸦加上骨架

就像人体关键点检测一样，随手画出的涂鸦也需要关键点，确定骨骼位置，才能描绘出它的精气神。

这里，黄同学用了 OpenCV 的骨架化工具，借助 Zhang-Suen 的 C++ 代码实现。不过，这套实现遍历了图像中的所有效果，所以在 web 端实现的效果又卡又慢。

黄同学不得不重新借助 gpu.js，用 WebGL shaders 的 javascript 分支重写了代码。

重写之后要快得多了。比如我们放一张寡姐持枪的照片，它就能自动把画面的重点，寡姐的躯干和两条拿枪的胳膊就可以自动勾勒出来。

让机器看懂骨架

但是，现在问题来了，看到这样一张图，人类可以判断出来是一个人和 TA 的两条胳膊，可是机器好像不行啊。

于是，黄同学决定用 8×8 窗口扫描整个图像，找到那些有笔画的部分马克出来，作为根补丁（root patch），然后，看根补丁小方块的四个边，哪边有线就往哪边延伸，这样就能找出整个骨架，之后用中值模糊滤波器（aggressive median-blur filter）降噪。

现在，机器终于能理解你画的涂鸦的形状，和它内部的骨架结构。

让涂鸦动起来

下面就得想办法让涂鸦动起来了。

这里，黄同学确定了五大物种：哺乳动物、人、鸟、鱼、植物，根据涂鸦形象骨架，确定画出来的小怪物属于哪一类物种，然后给骨架的不同部分分配身体器官：这是头，这是胳膊，这是腿……

之后，他为不同物种设定了单独的 “走路” 姿势，比如植物应该是在一个固定的地方蹦蹦跳跳，哺乳动物和人类应该是在地上跑，鸟应该放在天上呼扇翅膀，鱼应该是在水里摆尾游动。

这样一套流程下来，涂鸦就能动起来了。

对了，涂鸦小怪物们所生活世界的 “天、地、水” 也需要定义。

黄同学用 2D 高斯函数乘以 Perlin 噪声，生成了一个类似海里的小岛的地图，中间高，周围低，最外层是水，这样，花鸟鱼虫们就能够各得其所了。

AI 搞怪爱好者

黄同学即将在明年从 CMU 毕业，此前他还是迪士尼的实习生。这位 97 年出生的少年，创造过很多神奇的项目。

比如，自动生成山水画：

还有 Emoji 小人大战：

自动书法生成器：

相当有趣的内容，大家可以戳进传送门体验。

专业 “马良” 公司已面世

涂鸦动起来，这种像神笔马良一样的功能其实已经被一家公司商业化了。

前微软人机交互专家曹翔博士创立的小小牛科技就是这样一家公司，他们用自研的 Wonder Painter 技术，可以把各种物体变成会动的角色。

比如，在绘画界面里画一个穿裙子的姑娘：

接下来，姑娘就可以直接开始热舞了：

小小牛的这项技术已经以游戏的形式，应用在了一些线上营销活动中。未来，这类技术或许还能在艺术创作、儿童教育等领域大放异彩，会大大降低艺术创造的门槛。

所以 “神笔马良”，不止是前沿技术，未来商业前景也隐隐轰鸣。

传送门

Demo 体验：
https://doodle-place.glitch.me/

差点忘了说，因为这个项目太受欢迎，有时候需要像滴滴一样排队才能进入，开头的皮卡丘和哆啦 A 梦在第二个 Demo 服务器里：
https://doodle-place-server-2.glitch.me/

原作博客：
http://golancourses.net/2019/ngdon/03/05/ngdon-drawingsoftware/

骨架化代码：
https://skeletonization-js.glitch.me/

推荐阅读：
牛逼！用文言文来编程，97 年 CMU 本科生火遍全网！
8 岁小学生 B 站教编程惊动苹果，库克亲自送生日祝福！
Ｂ站收藏 6.1w+！GitHub 标星 3.9k+！这门神课拯救了我薄弱的计算机基础
看完 GitHub 上这几个奇葩项目后，我忍不住笑了 233333
硬核！ 逛了 4 年 GitHub，一口气把我收藏的 Java 开源项目分享给你！