Luma Labs Dream Machine已经升级,虽然表面上你可能看不到不同。变化是对底层模型的升级,带来1.5版本,提供了更逼真的效果、更准确的运动追踪和更高的提示理解能力。
这家创业公司在今年六月悄然推出时改变了AI视频领域,提供了更好的提示遵从性、更逼真的运动和改进的文字转视频的逼真效果,迅速成为AI视频创作者的最爱。
自从问世以来,AI领域的变化之快可见一斑,我们已经看到了Runway的升级、Kling的推出以及Haiper的AI视频模型和平台的升级。Pika的图像转视频模型也更新了。
通过1.5版本,Luma AI显示出它并不打算满足于早期的成功,将其文字转视频提升到与Runway Gen-3 Alpha和Kling AI相似的逼真水平。
Dream Machine v1.5中的文字渲染
Luma还改进了提示遵从性,文字转视频生成和更逼真的人类运动,使其模型具有更好的文字渲染能力。
这意味着它可以生成标志屏幕、结束板甚至是你可以在PowerPoint演示文稿中添加的图形,全部通过简单的文字提示生成。
从Dream Machine获取清晰的文字与从Midjourney或任何其它AI图像生成工具获取清晰的文字一样简单;将词语放在双引号中并描述即可。
结果有时喜人有时令人失望,特别是当你试图突破它的极限时。我让Dream Machine生成“太空中的猫”这几个字,在月球上弹跳,两边有穿着宇航服的猫。
它确实按照我的要求做了,但我没有足够描述详细,导致它生成的文字不是在一条线上而是堆叠的。它也没有弹跳,而是做了一个奇怪的缩放动作。当我让它显示我的名字,从沙子中一个字母一个字母地出现时,它也复制了这同样的动作。
尽管文字的移动或布局不是我想要的那样,但在我进行的每次测试中,文字都是完全可以辨认的。如果你希望它反映特定的风格,我建议用图像作为提示。
Dream Machine v1.5的质量提升
在谈到质量之前,我还要指出Dream Machine v1.5比其前一个版本快了很多。它可以在大约两分钟内生成五秒钟的视频。
最显著的变化是逼真程度,包括视觉质量和运动质量。我进行了几次不同的测试,包括一位水下的老妇人、一只在雪地里行进的老虎以及一段城堡的无人机飞越视频,每次虽然都有问题,但比v1更好。
最后一个显著的升级是视频生成中的角色一致性,包括扩展功能。这包括运动的一致性和遵守现实世界物理法则。
需要注意的一点是Dream Machine。它在增强你的提示方面非常出色,但如果你提供一个长而详细的提示信息,请确保取消勾选“增强提示”框,否则它可能会混淆或者过于复杂化。
总体上,这次的升级不像从Runway Gen-2到Runway Gen-3那样大,因为那是一个全面的巨大飞跃。不过,这次升级已经足够显著,使Dream Machine继续位居生成式AI视频平台的前列。