Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

StabilityAI推出了StableAnimationSDK,支持文本、图像和视频生成动画,用户可利用StableDiffusion模型创建3D动画。该工具提供丰富的参数和风格选项,但视频生成费用受时长和参数影响。此外,AI视频生成领域竞争激烈,如Gen-2和MidJourney展示了高水准成果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Stable Diffusion也能生成视频了!

你没听错,Stability AI推出了一款新的文本生成动画工具包Stable Animation SDK,可支持文本、文本+初始图像、文本+视频多种输入方式。

使用者可以调用包括Stable Diffusion 2.0、Stable Diffusion XL在内的所有Stable Diffusion模型,来生成动画。

Stable Animation SDK的强大功能一经展现,网友惊呼:

哇哦,等不及想试试了!

图片

目前,Stability AI疑似还在对这个新工具进行技术优化,不久后将公开驱动动画API的组件源代码。

3D漫画摄影风,不限时长自动生成

Stable Animation SDK可支持三种创建动画的方式:

1、 文本转动画:用户输入文prompt并调整各种参数以生成动画(与Stable Diffusion相似)。

2、文本输入+初始图像输入:用户提供一个初始图像,该图像作为动画的起点。图像与文本prompt结合,生成最终的输出动画。

3、视频输入+文本输入:用户提供一个初始视频作为动画的基础。通过调整各种参数,根据文本prompt生成最终的输出动画。

除此之外,Stable Animation SDK对生成视频的时长没有限制,但是长视频将需要更长的时间来生成。

Stability AI发布了Stable Animation SDK后,有很多网友分享了自己测试效果,让我们一起看下吧:

Stable Animation SDK可以设置许多参数,例如steps、sampler、scale、seed。

还有下面这么多的预设风格可选择:

3D模型、仿真胶片、动漫、电影、漫画书、数码艺术、增强幻想艺术、等距投影、线稿、低多边形、造型胶土、霓虹朋克、折纸、摄影、像素艺术。

目前,动画功能API的使用是以积分计费的,10美元可抵1000积分。

使用Stable Diffusion v1.5模型,在默认设置值(512x512分辨率,30steps)下,生成100帧(大约8秒)视频将消耗37.5积分

默认情况下,每生成1帧,Cadence值设置为1个静止图像,可根据不同的动画模式选择较低或较高的Cadence值。Cadence值的上限是动画中的总帧数,即至少生成一张静止图像。视频转视频的Cadence必须为 1:1。

官方也给出了一个示例,可以看出生成100帧标准动画的标准静止图像(512x512/768x768/1024x1024,30 steps), 随着Cadence值变化,积分的使用情况:

图片

简单来说,受参数、时长等各种因素的影响,生成视频的费用并不固定。

效果和价格我们都了解了,那如何安装并调用API呢?

要创建动画并测试SDK的功能,只需要两个步骤即可运行用户界面:

图片

在开发应用程序时,需要先设置一个Python虚拟环境,并在其中安装Animation SDK:

图片

具体使用说明书放在文末啦!

图片

越发火热的视频生成

最近,视频生成领域变得越来越热闹了。

比如,AI视频生成新秀Gen-2内测作品流出,网友看完作品直呼:太不可思议了!

Gen-2的更新更是一口气带来了八大功能:

文生视频、文本+参考图像生视频、静态图片转视频、视频风格迁移、故事板(Storyboard)、Mask(比如把一只正在走路的小白狗变成斑点狗)、渲染和个性化(比如把甩头小哥秒变海龟人)。

还有一位名叫Ammaar Reshi的湾区设计师用ChatGPT和MidJourney两个生成AI模型,成功做出一部蝙蝠侠的动画小电影,效果也是非常不错。

自Stable Diffusion开源后,一些开发者通过Google Colab等形式分享了各种魔改后的功能,自动生成动画功能一步步被开发出来。

像国外视频特效团队Corridor,他们基于Stable Diffusion,对AI进行训练,最终能让AI把真人视频转换为动画版本……

大家在对新工具的出现兴奋不已的同时,也有网友对Stable Animation SDK生成的视频所展现出的效果发出质疑:

这与 deforum有什么区别?没有时间线都不连贯,只有非常松散的一帧接一帧的图像。

图片

那么你玩过这些工具了吗?感觉效果如何?

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值