对标Sora,已开放的Pika,Runway,Stablevideo视频生成模型对比

目录

引言

Runway

Pika

Stablevideo


引言

这里先将三者官网放出来,方便大家使用。

Pika:https://pika.art/my-library

Runway:Runway

Stablevideo:Stable Video | Generate Videos with AI

根据我的网址收藏,是Runway最先被大众使用,大概是与Midjourney、Stablediffusion较成熟的那段时间,就被使用进行一些视频生成。然后就是由两位斯坦福博士创办的视频生成 AI 公司 Pika ,当时刚发布于众的时候,宣传的还挺厉害的,真实情况......呃,等下看实图。再就是前一段时间发布的Stablevideo,由于刚发布,使用流量过多,使用时候要用很多时间,就一个简单文生视频就要5minute起步。接下来我将对这三者分开介绍以及真实使用情况反馈,最终将三者对比看效果。

Runway

        Runway是一个由Runway AI公司推出的在线平台和应用程序,旨在让用户能够利用先进的人工智能模型和工具创建视觉内容和视频。它提供了多种视频生成工具,用户可以通过输入文本描述或上传图像草图,就能生成相应的动画视频剪辑。Runway所使用的技术包括扩散模型等最新AI模型。除了从头生成视频外,Runway还支持视频风格转移,可以将视频转换为特定的艺术风格。该平台为团队协作提供了工具,多人可以共同编辑和创建视频项目。Runway还提供教程和培训资源,帮助用户学习使用这些创新工具。虽然有一些免费工具,但Runway也提供了付费订阅选项,可以解锁更多高级功能。总的来说,Runway旨在通过AI技术使视频创作过程变得更加高效和易于使用,为创作者、艺术家、营销人员等提供新的视频内容生成解决方案。

runway主页:

 runway操作页: 

        文生视频模型理解能力还处于较弱阶段,并且生成视频质量较低,所以先使用一张包含人物图片进行Image generation video

这是一张489*1209像素的包含人物,背景的图片,导入runway后还可以进行工具修改,如果想要高质量的视频,则需要对模型、参数、迭代次数进行调整。

runway

可以看出生成的视频前两秒人物有神态,动作变化,而且场景也能够进行改变,观看视角也有明显变化,但在后两秒人物表面开始虚化,背景逐渐消失且混乱,这表明模型开始对前一张图片失去理解,并开始不知道将灰度图像在哪个像素点进行去噪,所以背景开始黑暗混乱并且人物神态模糊。

下面这个是官方的视频:

runway

Pika

Pika是另一个专注于利用人工智能技术生成视频内容的平台。它由Anthropic公司推出,Pika允许用户通过简单的文本描述生成短视频。它采用了最新的大型语言模型和计算机视觉技术,能够根据文本提示创建出逼真动态的视频场景。除了生成全新的视频外,Pika还可以基于用户提供的现有图像或视频进行编辑和改造。用户可以指定想要改变的部分,通过文本描述的方式,Pika会相应地修改视频中的元素。Pika提供了网页版和移动应用程序,用户可以在不同设备上使用。它的界面设计简洁直观,非常便于操作。生成的视频可以下载并分享到各种平台。该平台目前处于公测阶段,提供一些免费的基础功能。未来还将推出付费高级版本,提供更多定制选项和高级工具。总的来说,Pika致力于让视频创作和编辑变得前所未有的简单和高效,仅通过自然语言输入就能创造出丰富的视觉内容,大大降低了视频制作的门槛。

pika主页:

pika操作页:

 

同样使用一张489*1209像素的包含人物,背景的图片 ,进行Image generation video

pika

生成的视频人物神态有轻微变化,并且人物也伴有一些轻微动作,如果仔细观察还能感受到人物具有呼吸感,就像PUBG游戏里的角色开镜呼吸,但背景并未发生明显变化,以及对视角的控制并不成熟,模型还有待优化。

以下是官方视频:

pika官方_one

pika官方_two

pika官方_three

Stablevideo

Stablevideo是由一家名为Stable Diffusion的公司开发的AI视频生成工具。这家公司专注于利用先进的人工智能技术来推动视频创作的创新。在创新成果方面,Stablevideo凭借其先进的AI算法和深度学习技术,已经在视频生成领域取得了显著的突破。它不仅能够生成高质量的视频内容,还能够根据用户的需求进行个性化的定制。Stablevideo的算法可以分析大量的视频数据,学习并模仿不同的风格和主题,从而生成具有独特创意和视觉吸引力的视频。此外,Stablevideo还提供了一些创新的编辑功能,如音频和文本编辑、场景转换和特效等。这些功能使得用户可以在生成的视频上添加更多的创意和个性化元素,从而创造出更加丰富多样的视频作品。总的来说,Stablevideo作为Stable Diffusion公司的创新成果,已经在AI视频生成领域取得了显著的进展,并为用户提供了强大而灵活的视频创作工具。

stablevideo主页:

stablevideo操作页:

 

使用同一489*1209像素的包含人物,背景的图片 ,进行Image generation video

stablevideo

使用stablevideo进行 Image generation video时间会稍微久一些,因为刚开始公测,用户量较大,但生成视频质量也具有一定的可比性的,首先就是视角转换非常明显,模型能够利用背景提取信息,进行下一帧图像的去噪,才能把背景的转换做到无缝衔接,还能由一张二维的人物平面对人物进行转动,转换成三维立体人物,这就需要模型进行大量训练才能达到的效果。但是对于人物神态的变化并不明显,以及人物并未展现出一些轻微动作。

以下是stablevideo官方视频:

stable官方_one

stablevideo官方_two

stablevideo官方_three

LAST:三者对比

三者对比

根据生成视频,将三者图像进行简单对比发现,runway生成的视频不仅人物发成神态变化,背景也能够不断的切换,优先胜出,还是最早被大众应用的runway有明显优势,毕竟模型早已进行更多的参数学习。最后,期待早早入库宣传如神一般的Sora,这个才是最后的重头戏。

  • 28
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

归栀1102

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值