B 站团队开源动漫视频生成模型 AniSora,一键打造多种风格动画

B 站团队正式开源了动漫视频生成模型 AniSora,为动漫创作者与爱好者带来了全新的创作工具。AniSora 能够一键创建多种动漫风格的视频片段,涵盖系列剧集、中国原创动画、漫画改编、VTuber 内容、动漫 PV 和鬼畜动画等领域。

在当今影视行业中,动画内容备受关注。尽管 Sora、Kling、CogVideoX 等先进模型在自然视频生成方面表现出色,但面对动漫视频独特的艺术风格、夸张的运动以及对物理规律的突破,仍难以达到理想效果,同时也给评测带来了巨大挑战。

在这里插入图片描述

为解决这些难题,AniSora 项目构建了完整的系统,主要涵盖以下几个方面:

  1. 数据处理流水线:整合超过 1000 万条高质量数据,为模型训练提供了坚实的数据基础,确保模型能够充分学习动漫创作的各种规律与风格特点。
  2. 可控生成模型:创新性地引入时空掩码模块,该模块如同一位 “智能导演”,精准把控视频生成过程中的时间与空间维度。通过这一模块,AniSora 支持图生视频功能,创作者仅需上传一张静态图片,模型便能围绕图片主题,自动生成连贯流畅的动态视频;帧插值功能可在已有视频帧的基础上,智能补充中间帧,让视频动作更加顺滑自然;局部图像引导功能则允许创作者指定视频中的某些区域或元素,对其进行特定风格或动作的生成,极大地提升了创作的灵活性与自由度,满足了动漫制作过程中的各种关键需求。
  3. 评测数据集:收集了 948 段多样化动画视频,并配套进行双盲人评实验及 VBench 测试,在人物一致性与运动一致性方面均达到了业界领先水平(SOTA) 。

在这里插入图片描述

为直观展示 AniSora 的实力,研发团队分享了一系列生成的动画视频示例,涵盖了多种动漫风格,从清新可爱的卡通形象到炫酷动感的科幻场景,无不展现出 AniSora 在不同风格间的良好适应性和卓越表现。

在这里插入图片描述

AniSora 模型的开源,将有力推动动漫创作领域的发展,降低创作门槛,激发更多创作者的灵感与热情,为动漫产业注入新的活力。

https://github.com/bilibili/Index-anisora#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值