Stable Diffusion入侵短视频，华人导演玩得太6，小扎都来请她

杨净 Pine 发自 凹非寺
量子位 | 公众号 QbitAI

咋，我不就接个电话，怎么手机秒秒钟变了八百个样？！

就在你眼前，苹果手机直接变成了复古电脑。要说这种魔法，特效根本学不来。

‍最近，这样一则短视频在社交平台上爆火，揭秘视频20+万观看，5400+点赞。

视频里的这位是一名华人导演。所谓的魔法，正是使用了如今爆火的Stable Diffusion。

这已经不是她第一次用AI整花活了。比如街头时装秀。

还参与策划了世界首张由AI设计的杂志封面，20秒内即搞定。

如何入侵短视频？

只需简单几步，Stable Diffusion就可以入侵短视频。

首先，你得预设情节制作视频，以本次为例，除了手机之外全靠自身演技。

接着就来看Stable Diffusion是如何“偷梁换柱”的。

据这次技术负责表示，最难的就是保证其视频的连续性。在没有补帧的情况下，每一帧都是由插值嵌入和可变去噪强度产生的。

这时候，就需要制定一个合适的「提示词、seed以及去噪强度」组合，以挑选合适的AI图片，第一张和最后一张确定好，去噪强度范围在0到0.8。

随后用Huggingface定制的扩散器管线进行转换。不过这过程中还需要一些小技巧调整修复蒙版来让他们之间的转换更加自然。

华人导演用AI整花活

在Karen X.Cheng的个人简介上，就很直白的写着：导演，分享她的AI创意实验。

而这位华人导演呢，前期仅靠一部手机拍摄，后期就交给各种AI，来实现各种刁钻的拍摄角度和大成本的特效。

就比如说下面这个类似无人机拍摄的场景。

全程没有用到无人机，她让一位小哥帮忙拿手机沿着无人机的部分关键路径进行拍摄，后期则处理全权交由NeRF。

而AI处理的过程也不是很复杂，黑色框是NeRF渲染所必需的关键帧，红色则为最后生成视频的路径。

此外，她还用DAIN插值模型，通过在图片之间插入平滑帧，做出了一些酷（sha）炫（diao）的视频。

甚至有时想犯犯中二病了，AI也会努力打配合。

靠AI制作小成本特效视频也成功带火了这位华人导演，目前她在ins上的粉丝数已达120多万。

最近，Karen X还受扎克伯格之邀，主持MetaConnect大会，还与小扎隔空击了个掌。

在这之后，Karen X开始也玩起了AR和VR，前几天她就联合Meta创建了一个可大可小的虚拟世界。

看完这位华人导演的经历，你是不是也心痒痒想试一试用AI做视频呢？

参考链接：
[1]https://twitter.com/karenxcheng
[2]https://www.instagram.com/karenxcheng/