引言
去年10月,腾讯发布了VideoCrafter1模型,引起了广泛关注。短短3个月后,腾讯AI实验室再次创新,推出了VideoCrafter2模型。这一次,他们克服了高质量视频扩散模型的数据限制,仅使用有限数据就实现了显著改进,既保留了良好的动态效果,又大幅提升了视频质量。
VideoCrafter2模型概述
VideoCrafter2模型的核心在于它如何处理视频模型的空间和时间模块之间的耦合。研究团队深入分析了这些模块向低质量视频的分布转换,并发现全面训练所有模块相比仅训练时间模块可以产生更强的空间(画面)和时间(动作)耦合。
基于这种发现,研究人员通过对高质量图片进行微调空间模块,使分布向更高质量转换,从而制造出一个既保持动态效果又具有高清晰度的通用视频模型。这是行业内首次实现使用有限数据训练出高质量视频模型的突破。
-
Huggingface模型下载:https://huggingface.co/VideoCrafter/VideoCrafter2
-
AI快站模型免费加速下载:https://aifasthub.com/models/VideoCrafter