腾讯混元团队新模型——Follow-Your-Pose-v2:开启AI视频新纪元!

腾讯混元团队联合中山大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Pose-v2”,相关成果已经发表在 arxiv 上,今天就带大家一起来看看它有何不同~

图片

一张图片 + 一段视频 = 动态奇迹

Follow-Your-Pose-v2是全新的图生视频模型,只需要输入一张人物图片和一段动作视频,就可以让图片上的人跟随视频上的动作动起来,生成视频长度可达10秒。

图片

支持多人视频动作生成

该模型可以在推理耗时更少的情况下,支持多人视频动作生成。模型具备较强的泛化能力,无论输入人物是什么年龄、服装,背景如何杂乱,动作视频的动作如何复杂、都能生成出高质量的视频。

为了评估多角色生成效果,团队提出了一个包含约4000帧(约20个多角色视频)的新基准——Multi-Character。

实验结果显示,模型在2个公共数据集(TikTok和TED演讲)和7个指标上的性能均优于最新技术35%以上。

图片

应用场景广泛

Follow-Your-Pose-v2具有重要的应用前景和实际意义。例如,在电影制作中,可以通过这一模型快速生成角色的动态效果,大大减少制作成本和时间。

在教育领域,该模型可用于创造更加互动和真实的教学材料,帮助学生更好地理解复杂动作或历史事件。此外,这一技术还可以应用于虚拟现实中,为用户提供更加丰富和真实的交互体验。

不过目前官方仅发布了论文,暂未对外开放使用,敬请期待。

论文地址:https://arxiv.org/abs/2406.03035

*西安觉醒元宇宙AI,是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台!

扫描下方二维码进入AI交流学习群,获取超多AI前沿知识

  • 4
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值