衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
哎鸭，鸭鸭摔倒了！
鸭鸭是真的，摔跤是真的，但端的咖啡和端咖啡的手，是AI给p上去的。
△还好手里的咖啡只洒了亿点点
来自一个开源项目，VideoDoodles，这两天在外网上的讨论度直线上升。
这项目妙就妙在，能给视频加上手绘风格的涂鸦，可可爱爱的也行，奇奇怪怪的也行。
就跟人工一帧一帧画上去的没差。
这对目前市场上大多数的2D视频编辑软件来说，还是比较难的。想要达成同等效果，一般还是得创作者真·一帧一帧画上去。
怪费力气的。
但VideoDoodles能靠在视频中重建3D场景，然后在其中放置平面画布，来生成这种效果。
不少人表示，可以用它来装饰视频，加加卡通效果or花字，然后进一步加工成meme/表情包。
搞笑视频也安排，在路上了！
想加什么手绘效果就加什么
VideoDoodles是酱婶宣称自己的效果的：
在视频中轻松、任意地插入手绘动画，还是和视频内容无缝融合的那种。
真的吗？一起来看看。
和给鸭鸭加胳膊加手一样，VideoDoodles可以给任意物种加上四肢。
火烈鸟可以端着自己摇晃的红酒杯，悠闲地在水里泡jio。
小火车从远处驶来，挥舞着双手，xiu的从镜头里开过去了。
当然，想要加一个四肢健全的动物在视频片段里，也是没问题的。
Be like这个肩膀上的小松鼠：
可以看到，不管这位女士怎么步行前进，小松鼠都老老实实呆在她肩膀上。
除了肢体动作，也可以用VideoDoodles来给视频片段加综艺后期的花字。
静态文字：
动来动去的文字：
都有不错的生成效果。
以及，蹭一个刚结束的奥运会的余热，VideoDoodles可以给各种各样的大幅度运动加手绘。
或是箭头指向：
或是超人卡通特效：
咋实现的？
给视频内容加上手绘动画，现在的惯常做法，是把视频本身作为底层，然后利用人工逐帧绘制2D动画效果。
这样做效率相对较低，而且需要保证手绘动画效果要跟踪动态、解决透视变形和适配遮挡物。
能搞定，但费人费时间。
那么，VideoDoodles是如何处理动态物体的跟踪，还有动画同步的呢?
它提供了一简单的界面来帮助大家完成视频涂鸦——“简单”，意味着老手和小白都能轻松画起来。
而项目背后，是利用3D场景重建技术，实现涂鸦自然融入视频场景，包括追踪、透视变形和遮挡等复杂视觉效果。
具体而言，VideoDoodles先把视频内容进行3D重建，而后在视频中放置平面画布，这些画布在3D场景中被跟踪，然后逐帧添加手绘动画。
通过自定义算追踪算法，VideoDoodles锁定画布对应的视频场景中的物体，完成画布跟随物体运动进行移动和旋转。
在VideoDoodles的用户交互界面中，用户可以通过关键帧位置和方向，在2D图像空间的UI中精细控制画布。
而系统则是通过跟踪视频中，移动对象的运动来精心插入关键帧。
简而言之，VideoDoodles是根据关键帧表达的用户意图，利用自有算法解决被遮挡、透视变换，在视频的任意帧渲染场景感知画布，并使画布紧紧跟随移动的物体。
而且关键帧可以有任意数量的位置、方向。
如下面这张图，VideoDoodles就是通过第一帧涂红部分处的方向&位置，和最后一帧涂绿的位置，从而在整个视频中连贯地渲染相应的画布。
具体操作中，流程大致是这样的：
最后介绍一下：
VideoDoodles这项研究，由Adobe研究院，蔚蓝海岸大学，以及代尔夫特理工大学的研究人员共同完成。
研发团队负责人表示：
我们的目标是简化“视频涂鸦”的创作过程。
这种新兴的混合媒介艺术形式结合了视频内容和手绘动画，可以用于娱乐或教育目的。
有了VideoDoodles，希望更多人能够轻松实现「将想象力注入现实世界」。
参考链接：
[1]https://em-yu.github.io/research/videodoodles/
[2]https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
扫一扫
470
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
