Stability AI的Stable Video公测：这才是Sora令人期待的原因！附体验地址和详细教程

最新推荐文章于 2024-05-28 15:38:47 发布

木易AI信息差

最新推荐文章于 2024-05-28 15:38:47 发布

阅读量1.2k

点赞数 26

文章标签：人工智能 chatgpt gpt ai

本文链接：https://blog.csdn.net/weixin_40774379/article/details/136312128

版权

大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，所以创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效率提升，AI行业洞察。关注我，AI之路不迷路，2024谷歌一起变强。

关于Stability AI

Stability AI是一家致力于通过AIGC（生成式人工智能）激发人类潜能的公司。该公司由拥有牛津大学数学和计算机科学硕士学位的Emad Mostaque成立，旨在为每个人、每个地方提供开放模式的AI工具，覆盖视觉艺术、音乐等多个领域。

Stability AI在一轮由Coatue和Lightspeed Venture Partners领投的融资中筹集了1.01亿美元，标志着对 AI 驱动内容生成需求的增长，并将公司估值达到10亿美元。Stability AI 运营着一个包含超过4000个 Nvidia A100 GPU 的集群，其旗舰项目Stable Diffusion在开源AI社区中具有重要影响，尽管其内容审核的争议也伴随而来。

关于Stable Video

Stability AI最近推出了其首个开放视频模型“Stable Video”，这是一个旨在服务于媒体、娱乐、教育和营销等广泛视频应用领域的创新工具。Stable Video使个人能够将文本和图像输入转化为生动的场景，提升概念至活动影像，创造电影级作品。Stable Video Diffusion发布了两种图像到视频的模型，能够生成14帧和25帧的视频，帧率可在3到30帧每秒之间自定义。在初始形态发布时，这些模型在用户偏好研究中超越了其他领先的封闭模型。视频的持续时间可达2至5秒，处理时间不超过2分钟。

此外，Stability AI通过这个研究版本释出了Stable Video Diffusion的代码，并在其GitHub存储库和Hugging Face页面上提供了运行模型所需的权重。该模型可适应多种视频应用任务，包括从单一图像进行多视角合成，以及在多视角数据集上进行微调。

该平台通过简化视频制作过程，即使是没有专业视频编辑技能的用户也能快速创建吸引人的视频。Stable Video目前处于公测阶段，每个人都可以免费使用。

Stable Video提供免费额度，每天赠送150个积分，可以生成15个免费视频。对于需要更多视频生成的用户，官方还提供了积分购买选项，包括10美元的500积分包和50美元的3000积分包，积分永久有效。对于一般用户来说，每天重置的150积分已经足够我们愉快地体验和玩耍了吧。

Stable Video Demo视频展示

由于平台限制，无法上传大于5M的图片/动画，请前往我的公众号查看完整文章内容。

Stable Video初体验/使用教程

注册登录

按照下面的地址进入官网，注册账号并登录。最便捷的方法是直接选择谷歌账号登录。值得一提的是，今天（2月26日）我亲测，国内可以直接打开Stable Video网站。但如果想使用谷歌一键登录，还是需要魔法的。也可以选择输入自己的邮箱账号注册登录。

Stable Video体验地址：https://www.stablevideo.com/

两种方法进入创作页面

点击顶部菜单栏里的Generate即可开始体验。
或点击左下角的Start with Image即可开始体验图片生成视频，Start with Text即可开始体验文本生成视频。

输入文本生成视频的提示词

以文本生成视频，在输入框里输入提示词。这里我们先用一条样本提示词进行测试。

提示词：A tranquil, realistic depiction of a sunset over calm ocean waters, with the sky ablaze in vibrant oranges and reds, reflecting softly on the water's surface.

点击Generate。

生成视频所需的图片

首先Stable Video会先给我们生成视频里需要用到的图片。

目前我测试，服务器状态相当不稳定，有时候会报错，这个时候选择 Cancel会返还积分给你。生成好的图片是这样的：

选择图片，设置参数

选择一张你比较满意的图片，然后按照下面的参数提示设置参数，点击Proceed。其实不设置参数也够用，只是参数可以给你更多的选择，以增强视频生成效果和体验。

Stable Video参数设置

Camera Motion

Camera:
- Locked: 相机固定不动。
- Shake: 模拟相机震动效果。

Tilt

相机的倾斜动作，可选向上 Up 或向下 Down 倾斜。

Orbit

相机围绕场景旋转的动作。

Pan

相机的平移动作。

Zoom

相机的缩放动作，可选放大 In 或缩小 Out。

Dolly

相机沿着某条线移动，模拟推进 In 或拉出 Out 的动作。

Move

相机向上 Up 或向下 Down 的移动。

其他参数

Seed: 种子数，默认设置即可。
Steps: 迭代步数，更多步数可生成更高质量视频，但生成速度较慢。
Motion Strength: 控制视频中运动量的参数，数值越高，视频中的运动效果越显著。

等待成片

到这一步就可以等出片了，这时Stable Video会给你一些样本视频让你投票，这是收集用户反馈的一种方法，以便他们可以调整模型。类似于ChatGPT里的点赞和点踩功能。

成片展示

由于平台限制，无法上传大于5M的图片/动画，请前往我的公众号查看完整文章内容。

效果相当不错！

Stable Video VS OpenAI Sora

提示词

为了对比，这里我们测试一个Sora曾经使用过的提示词。

提示词：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street is damp and reflective, creating a mirror effect of the colorful lights. many pedestrians walk about.

Stable Video生成的视频

由于平台限制，无法上传大于5M的图片/动画，请前往我的公众号查看完整文章内容。

Sora生成的视频

对比

时长：目前Stable Video仅支持生成2-5s时长的视频，而Sora可以生成长达1分钟的视频，这是目前AI文生视频领域最长的视频生成程度。
视觉细节：Stable Video生成的图片/视频质量已经很不错了，但对一些细节的处理还不够，比如提示词里明确提到的“the street is damp and reflective, creating a mirror effect of the colorful lights”，Stable Video生成的视频完全没有体现地面潮湿、反光这一点。而Sora生成的视频则很好的体现了这一细节。
视频连贯性：文本生成视频，4s的视频保持连贯性和一致性相对容易实现。但要生成连贯的1分钟长度的视频，目前只有Sora能够做到。

关于Sora更多介绍，可以看我之前的这些文章：