EasyAnimate - 阿里开源视频生成项目,国产版Sora,高质量长视频生成 本地一键整合包下载

read-normal-img

EasyAnimate是阿里云人工智能平台PAI自主研发的DiT-based视频生成框架,它提供了完整的高清长视频生成解决方案,包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。在预训练模型的基础上,EasyAnimate可通过少量图片的LoRA微调来改变生成视频的风格,相比已有方案具有更好的扩展性和完整性。

目前支持最大分辨率960x960,最长144帧的视频推理,512x512分辨率最低可用12G显存实现推理。可一键生成长达6s的视频内容。

Sora一直没了消息,可灵又收费了。前天智谱团队的清影虽然免费开放,但估计也会走可灵的老路,收费也只是时间问题。所以有条件的,还是建议自己本地部署,任何时候都可以使用这个技术,且不受任何限制。

EasyAnimate提供多样化生成方案,不仅支持文字提示词生成视频,还支持图片生成视频。下面放出几张生成动图演示效果:

本地整合包下载:

EasyAnimate - 阿里开源视频生成项目,国产版Sora,高质量长视频生成 本地一键整合包下载

使用教程

官方提供支持512px,768px和960px三种分辨率视频推理,默认使用512px,而且一键包只内置了这个参数的模型,如果你的显卡足够强大,可以下载768和960的模型使用。

768px模型地址:https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/easyanimate/Diffusion_Transformer/EasyAnimateV3-XL-2-InP-768x768.tar

960px模型地址:https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/easyanimate/Diffusion_Transformer/EasyAnimateV3-XL-2-InP-960x960.tar

下载后,解压出来,将解压后的模型复制到一键包的models\Diffusion_Transformer路径下

最终的路径为:models\Diffusion_Transformer\EasyAnimateV3-XL-2-InP-768x768或models\Diffusion_Transformer\EasyAnimateV3-XL-2-InP-960x960

1、选择版本和模型,模型默认只下载了512x512px,下拉选择,第一次加载时间略长,需要等待一会。

read-normal-img

测试了几个,提示词写的越详细,生成的效果越好,感觉整体使用和AI绘画软件 StableDiffusion 类似,无论是提示词还是参数设置。所以玩过AI绘画的,这些提示词和参数设置就很简单了。

2、下图的参数只需要调整视频分辨率和步数,显卡不好的,步数可以调小些。采样器种类也和AI绘画类似,不懂的可以多尝试几次。

read-normal-img

3、支持图片是生成视频,提示词控制生成细节

read-normal-img

4、所有参数设置完成后,点生成即可。生成时间根据显卡和生成参数决定。

总结下,目前开源的模型无论是生成效果还是推理速度都有待提升,且有很大的提升空间,目前视频生成类模型还有很多问题,尤其是对显卡要求极高,所以建议高端显卡用户体验,显卡太差的,生成时间略长。

项目地址:https://github.com/aigc-apps/EasyAnimate/

在线体验:https://modelscope.cn/studios/PAI/EasyAnimate/summary

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值