3D动作绑定_3D合成主播参与两会报道,纯AI驱动一分钟出活,无需人工干预

95a97b7b7ae42bab1b326c58e1570f13.gif

两会期间,一个百变新闻主播火了!她可以一秒换装、实时换发型,还可以同时穿梭在不同的虚拟演播室中,她就是“新小微”。

06e68a49f714b2677f1709feeed9ba65.gif

在不需要后期填补细节的前提下,新小微就已经达到了非常逼真的效果,立体感和交互能力几乎和真人无二。甚至在特写镜头下,连头发丝和皮肤上的毛孔都看得清清楚楚。

新小微上岗

新小微是新闻界首个由 AI 驱动,3D 技术呈现的 AI 合成主播。与以前的 AI 合成主播相比,她最大的不同在于其 3D 特性,丰富了播报形态,可以从不同角度进行全方位的呈现。

可以看出,此前的 AI 合成主播大多是坐在特定位置上进行新闻播报,而新小微则能够进行走动、转身等肢体动作。不仅如此,新小微在表情方面也变得多样;不再只有“职业假笑”,多了一些微表情。

除了增强了立体感和层次感,在智能性方面,新小微也有了新的提升。

6e602cd68b005d0e6248adfa5297fbae.gif

在人工智能的实时驱动下,3D 版 AI 合成主播可实现功能持续自我更迭。比如说,在“变妆/装”上,她的发型、妆容可以根据不同场景、不同新闻报道需要而进行变换。

全球首个3D AI合成主播

当然了,“全球首个3D AI合成主播”的称号可不是随随便便就能叫的。新小微完成这次两会的新闻播报,在以下5个方面展现了过人的实力。

0c05ce47124a423b5e976358f42ed43c.png
  • 超写实

高清特写镜头下,新小微的皮肤材质、毛孔、牙齿、嘴唇、眼睛、头发都清晰可见;AI合成主播讲话时,语音和唇动配合十分默契,面部的肌肉运动也十分流畅。同时,AI主播的眨眼、头动、身摆也更接近真人。

  • 3D场景

可以做到对3D数字人360度的展现、全方位的呈现,这使得未来可以运用在多机位、多景深的场景下。

608d9b48de152b7afcf3e9d7f5ef3c7f.png
  • 实时文本驱动

给她一段文字,她就能还你一段的视频,这个过程还是实时的。

649cffe1addcbb1743a43771b018c5b2.png

现在大家在游戏中、电影中看到的很多NPC人物或3D电影角色,他们可能都是3D建模的,但都需要在前期和后期投入了相当大的人力、时间、财务成本,才能保证模型足够的写实。

  • 灵活可控

3D AI合成主播是一个完全参数化的、数字化的模型,基于这个模型可以让它做各种各样的动作,可以让他走路、做各种手势,同时头动、身体的运动都非常自然,具有很强的灵活可控性。

37b04921e4c36771b2be873de8b1b463.gif

更强的灵活可控性,代表着这个数字虚拟人可以做出更多复杂的动作,从而适合更多的场景。比如做主播做新闻的时候,可以随时走动、做出各种肢体动作;做老师讲课的时候,可以跟学生互动,做手势等。

  • 低成本迁移

将一个真人的各种数据做半自动化的数据标注,产生出大量的3D运动数据,结合语音数据、图像数据,共同做多模态建模,最后生成一个可驱动的3D数字人。

3D AI合成主播如何实现

首先,基于真人原型采集海量数据:真人戴着数据采集头盔,几百个摄像头对其身体各个部位360度全方位打点扫描,采集每一处细节,并对其多种形态的表情和动作进行细致入微地捕捉记录。

1ac59a4408f269a5651077774c936499.png

其次,采用了行业领先的扫描还原算法,以及面部肌肉驱动、表情肢体捕捉等技术,生成高逼真度的3D 数字人模型。

最后,通过多模态生成算法对3D数字人模型进行实时驱动、渲染,使其面部表情、唇动、肢体动作和语言表达能力实现了高度契合。

3D AI合成主播采用的是全球最领先的肌肉绑定3D模型,从面部表情到肢体动作的细节,达到了影视级作品及游戏NPC的写实度,有时候甚至更高、更自然。

或许在不久的未来,你再也分不清视频中的主持人,究竟是真人还是虚拟人,而这一天正在到来。

关于鲸算科技

作为一家科技驱动型公司,鲸算集团通过大数据、机器学习和人工智能等硬科技赋能产业升级,提高产业效能,为客户提供智能化、数字化、科技化的服务。

让世界更高效。鲸算集团将通过「金融科技」「新零售」「人工智能」三大体系,不断加深技术与产业的融合,以更好地服务多元化的场景,提升不同行业运行效率。  鲸算集团的技术已经应用到金融科技、生活消费、前沿科技、智能法律等各行业领域,在全球拥有1.6亿用户和6.5万合作伙伴。

长按识别二维码,即可关注我

b04c9789698f3ab8765b0187fb8649f3.gif我知道你在看

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值