两会期间,一个百变新闻主播火了!她可以一秒换装、实时换发型,还可以同时穿梭在不同的虚拟演播室中,她就是“新小微”。
![06e68a49f714b2677f1709feeed9ba65.gif](https://i-blog.csdnimg.cn/blog_migrate/2b793b34b7e5baea2e25392261a4886c.gif)
在不需要后期填补细节的前提下,新小微就已经达到了非常逼真的效果,立体感和交互能力几乎和真人无二。甚至在特写镜头下,连头发丝和皮肤上的毛孔都看得清清楚楚。
新小微上岗
新小微是新闻界首个由 AI 驱动,3D 技术呈现的 AI 合成主播。与以前的 AI 合成主播相比,她最大的不同在于其 3D 特性,丰富了播报形态,可以从不同角度进行全方位的呈现。
可以看出,此前的 AI 合成主播大多是坐在特定位置上进行新闻播报,而新小微则能够进行走动、转身等肢体动作。不仅如此,新小微在表情方面也变得多样;不再只有“职业假笑”,多了一些微表情。
除了增强了立体感和层次感,在智能性方面,新小微也有了新的提升。
![6e602cd68b005d0e6248adfa5297fbae.gif](https://i-blog.csdnimg.cn/blog_migrate/7a0de15df6ef216b2fa8f664169ddfb3.gif)
在人工智能的实时驱动下,3D 版 AI 合成主播可实现功能持续自我更迭。比如说,在“变妆/装”上,她的发型、妆容可以根据不同场景、不同新闻报道需要而进行变换。
全球首个3D AI合成主播
当然了,“全球首个3D AI合成主播”的称号可不是随随便便就能叫的。新小微完成这次两会的新闻播报,在以下5个方面展现了过人的实力。
![0c05ce47124a423b5e976358f42ed43c.png](https://i-blog.csdnimg.cn/blog_migrate/93e281bf5d2638f9f7c2d2f8577c39c4.jpeg)
超写实
高清特写镜头下,新小微的皮肤材质、毛孔、牙齿、嘴唇、眼睛、头发都清晰可见;AI合成主播讲话时,语音和唇动配合十分默契,面部的肌肉运动也十分流畅。同时,AI主播的眨眼、头动、身摆也更接近真人。
3D场景
可以做到对3D数字人360度的展现、全方位的呈现,这使得未来可以运用在多机位、多景深的场景下。
![608d9b48de152b7afcf3e9d7f5ef3c7f.png](https://i-blog.csdnimg.cn/blog_migrate/7d3fa3b702694510d9a53de26dd0a9eb.png)
实时文本驱动
给她一段文字,她就能还你一段的视频,这个过程还是实时的。
![649cffe1addcbb1743a43771b018c5b2.png](https://i-blog.csdnimg.cn/blog_migrate/034fbfa2a86156e63a187a022c5824c2.jpeg)
现在大家在游戏中、电影中看到的很多NPC人物或3D电影角色,他们可能都是3D建模的,但都需要在前期和后期投入了相当大的人力、时间、财务成本,才能保证模型足够的写实。
灵活可控
3D AI合成主播是一个完全参数化的、数字化的模型,基于这个模型可以让它做各种各样的动作,可以让他走路、做各种手势,同时头动、身体的运动都非常自然,具有很强的灵活可控性。
![37b04921e4c36771b2be873de8b1b463.gif](https://i-blog.csdnimg.cn/blog_migrate/526f5bf96be41fc4fdee7fb8111f9dac.gif)
更强的灵活可控性,代表着这个数字虚拟人可以做出更多复杂的动作,从而适合更多的场景。比如做主播做新闻的时候,可以随时走动、做出各种肢体动作;做老师讲课的时候,可以跟学生互动,做手势等。
低成本迁移
将一个真人的各种数据做半自动化的数据标注,产生出大量的3D运动数据,结合语音数据、图像数据,共同做多模态建模,最后生成一个可驱动的3D数字人。
3D AI合成主播如何实现
首先,基于真人原型采集海量数据:真人戴着数据采集头盔,几百个摄像头对其身体各个部位360度全方位打点扫描,采集每一处细节,并对其多种形态的表情和动作进行细致入微地捕捉记录。
![1ac59a4408f269a5651077774c936499.png](https://i-blog.csdnimg.cn/blog_migrate/e3f927124966ac015a136bd77e4c7e55.png)
其次,采用了行业领先的扫描还原算法,以及面部肌肉驱动、表情肢体捕捉等技术,生成高逼真度的3D 数字人模型。
最后,通过多模态生成算法对3D数字人模型进行实时驱动、渲染,使其面部表情、唇动、肢体动作和语言表达能力实现了高度契合。
3D AI合成主播采用的是全球最领先的肌肉绑定3D模型,从面部表情到肢体动作的细节,达到了影视级作品及游戏NPC的写实度,有时候甚至更高、更自然。
或许在不久的未来,你再也分不清视频中的主持人,究竟是真人还是虚拟人,而这一天正在到来。
关于鲸算科技
作为一家科技驱动型公司,鲸算集团通过大数据、机器学习和人工智能等硬科技赋能产业升级,提高产业效能,为客户提供智能化、数字化、科技化的服务。
让世界更高效。鲸算集团将通过「金融科技」「新零售」「人工智能」三大体系,不断加深技术与产业的融合,以更好地服务多元化的场景,提升不同行业运行效率。 鲸算集团的技术已经应用到金融科技、生活消费、前沿科技、智能法律等各行业领域,在全球拥有1.6亿用户和6.5万合作伙伴。长按识别二维码,即可关注我
我知道你在看哟