腾讯混元团队新模型——Follow-Your-Pose-v2：开启AI视频新纪元！

腾讯混元团队联合中山大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Pose-v2”，相关成果已经发表在 arxiv 上，今天就带大家一起来看看它有何不同～

一张图片 + 一段视频 = 动态奇迹

Follow-Your-Pose-v2是全新的图生视频模型，只需要输入一张人物图片和一段动作视频，就可以让图片上的人跟随视频上的动作动起来，生成视频长度可达10秒。

支持多人视频动作生成

该模型可以在推理耗时更少的情况下,支持多人视频动作生成。模型具备较强的泛化能力，无论输入人物是什么年龄、服装，背景如何杂乱，动作视频的动作如何复杂、都能生成出高质量的视频。

为了评估多角色生成效果，团队提出了一个包含约4000帧（约20个多角色视频）的新基准——Multi-Character。

实验结果显示，模型在2个公共数据集（TikTok和TED演讲）和7个指标上的性能均优于最新技术35%以上。

应用场景广泛

Follow-Your-Pose-v2具有重要的应用前景和实际意义。例如，在电影制作中，可以通过这一模型快速生成角色的动态效果，大大减少制作成本和时间。

在教育领域，该模型可用于创造更加互动和真实的教学材料，帮助学生更好地理解复杂动作或历史事件。此外，这一技术还可以应用于虚拟现实中，为用户提供更加丰富和真实的交互体验。

不过目前官方仅发布了论文，暂未对外开放使用，敬请期待。

论文地址:https://arxiv.org/abs/2406.03035

*西安觉醒元宇宙AI，是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台！

▍扫描下方二维码进入AI交流学习群，获取超多AI前沿知识！