PIKA正式上线唇形同步 - 给AI视频注入新的“想象“

PIKA在沉寂了3个月后，终于又更新了...

没有去卷模型，没有去卷控制，而是继续奔赴他们1.0最开始所设定的目标：

对话。

PIKA的模型，有一个跟所有的其他AI视频产品都不同的地方在于。

当你生成人物的时候，大概率会说话，也就是唇形会动起来，模拟人物正在对话的感觉。

PIKA认为，这样的效果，才能更符合真正的"短片"效果，毕竟，一个短片，想要好看，人与人之间的对话那是必不可少的。

对话才有戏，冲突才有张力。

而如果是传统的Runway等等，做的镜头，都是空镜，对话很多时候都只能以旁白的形式去做。那样，观众在看片子的时候，沉浸感会大幅降低。

但是去年PIKA1.0上线的时候，其实是并没有跟语音打通的，意思是说，你只能跑出一个正在瞎特么动的嘴，但是没有声音。

声音你需要自己去11Labs或者魔音工坊里面跑。然后用剪映啥的，把你跑的语音和AI片段拼起来。

但是这就有一个问题是：唇形和发音，是不匹配的。

所以PIKA做唇形同步，是绝对的情理之中，他们一定会做，且必做。

还是得自己亲自上手试一下。

正好这个唇形同步，也对超级合作者开放了，于是，我就来测一下。

进入PIKA首页，传一段视频或者传一张图片后，你就能看到这么一个功能：

这个就是唇形驱动。

点开以后，就能看到语音制作区域。

PIKA也跟11Labs合作了，把11Labs的TTS给拿了过来，上面的区域就可以选择特定的发音人，然后输入文字，变成语音。

当然，你也可以上传你自己的音频。

我还是习惯自己用11Labs或者魔音工坊跑音频出来，毕竟那两个玩意的可用性高一点。

传上去以后，就可以开始合成了。

我大概跑了几十个case，从1/2正面，测到1/5正面，从正脸测到侧脸，从写实跑到2D，从图片跑到视频...也算了测了个遍

但是还有很多，是Bad case。

整体上我实验下来，我更建议是先用文/图生成视频后，用视频再去进行唇形同步，而不是直接用图进行唇形同步。

因为两者效果大差不差，而用视频驱动的话，还能实现一些大运镜或者变动的背景。

PIKA上唇形同步，想象力一定是非常强的，因为不管是Heygen或者奇妙元，能做的都是静态的照片说话，在效果上，有一定的局限性，因为背景不会动。

比如很久之前我用奇妙元弄的这个特朗普。

而PIKA自身的AI视频再加上唇形同步，会做出一些以前实现起来非常复杂但是很有戏的效果，能给AI视频，带来一些新的想象力。

但是在唇形同步的效果上，坦率的讲，跟Heygen和奇妙元相比，还有一定的距离要走。

比如只支持正脸，侧脸一些就会崩。

比如面部有一些遮挡物的时候，就识别出错。

比如有一些背景人脸的时候，会一起识别出来。

比如唇部经常在抖不够稳定。

比如有时候唇部会糊。

等等。

但是毕竟PIKA这次的更新，还是Test版本，还没有向大众公开。

还有非常大的优化空间。

想想MJ的V1时刻，对吧。

我很期待PIKA后续在唇形同步上的优化，给AI视频，注入一些新的活力。

不过，我怎么有一种感觉。

11Labs，这个做AI配音的，反而是最大的赢家呢。。。