AniSoraV3 正式开源,长视频创作智能体框架AniME技术揭秘

引言

在动画制作领域,传统流程复杂且劳动强度大,涵盖剧本创作、分镜设计、角色与场景设计、动画制作、配音以及最终剪辑等多个创作阶段。这一过程不仅需要大量专业人员参与,还要求不同团队间紧密协作,导致成本高昂、制作周期漫长。

近年来,生成式人工智能取得了显著进展,例如用于动画生成的 AniSora 等基础模型,在特定任务中展现出了令人印象深刻的能力。然而,这些方法在特定领域各有优劣,在智能体驱动的视频生成中,难以维持一致性且精细可控性欠佳。因此,开发一个全自动的长篇动画生成系统仍是一项亟待解决的挑战,尤其是在选择合适的控制条件以及确保跨阶段内容一致性方面。

为此,我们提出 AniME,一种导演驱动的多智能体框架。该框架通过引入定制化模型选择MCP机制,为不同环节的专用智能体配置定制化工具箱,实现了任务分解、跨阶段一致性控制以及迭代式反馈优化。AniME 借鉴真实动画工作室的生产流程,强调全局调度与质量控制,使长篇动画的自动化生成成为可能。

All In One模型AniSora V3开源

在介绍AniME工作流前,先介绍一下团队近期开源的动画视频生成模型AniSora V3. 此前AniSora已经发布了2个版本的模型,在国内外社区中获得了比较好的口碑和反馈。本次,V3版本有了比较大的升级,量化版本支持单卡4090推理,单台4卡4090生成5秒360p视频仅需30秒,单台8卡A800仅需8秒。

V3版本除了在动态性、画面美感、指令遵从等方面进行了增强外,还结合动画制作实际流程中的相关诉求,增加了多种模态的交互能力,更加贴合动画制作流程本身,为长视频创作提供了有力支撑。

角色单张正面立绘生成360度视频

图片

图片

图片

任意帧引导

该功能在V1版本中已经支持,V3版本中该功能的指令遵从性得到了进一步增强

可以通过首帧、尾帧或任意中间帧,根据剧情生成视频

风格转绘

输入视频

图片

线稿提取

图片

风格化

图片

多模态引导

首帧+多模态输入

图片

图片

The boy in red and the girl in red are fencing in the scene.

输出视频

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值