酷游九州发表VASA-1框架,酷游链接可即时生成逼真虚拟人像

从《酷游九州вт989点сс》以及酷游链接时,便可即时生成逼真且表情丰富的虚拟人像,用于提升数位通讯的互动体验。

微软公开最新虚拟人像技术VASA-1框架,该框架只要使用一张个人照以及语音音讯,就能产生精准逼真的人脸对嘴说话视频,视频中人物甚至可展现自然的表情和头部动作,VASA-1可即时生成高达40 fps 的 512x512 视频。

微软VASA-1框架克服了以往虚拟人像生成技术的限制。此框架的特别之处在于,研究人员利用扩散Transformer模型,在整体脸部动态和头部运动潜在空间进行训练,该模型将所有可能的脸部动态,包括嘴唇动作、表情、眼睛注视和眨眼等行为,视为单一潜在变数,并统一建模其机率分布。

VASA-1

VASA-1不只图像生成品质自然良好,另一大优点更是能高效运作,即时生成逼真的说话脸部,而这对于通讯的即时互动更是关键性的能力。研究人员在Nvidia RTX 4090 GPU桌上型电脑进行评估VASA-1,线上串流模式512×512解析度可达40 FPS,延迟时间仅有170 ms。

  • 9
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值