虚拟达人分为3类:
超写实的数字人
虚拟偶像
典型代表:洛天依,初音未来等。
虚拟偶像和数字人的区别:“虚拟偶像”更多地基于当前的动漫视觉基础,偏向“二次元”;而Metahuman的突出特点就是与真人的贴近,甚至在当前已有的技术下做到“超真实”,这就意味着,一样是模仿,Metahuman将模仿的客体延伸到了人类本身。
虚拟主播
搜狗的新小萌等,新小微
搜狗的3D AI合成主播“新小微”,并不是在此前2D合成主播的基础上升级迭代而来。陈伟在接受媒体采访时表示,2D的写实度比3D略高一些,但是3D的灵活性更高。基于路线探讨,搜狗还是区分了2D和3D,同时在底层算法上也做了充分的打通。
技术拆分:
背景知识
计算机视觉:
试图通过信号采集(摄像头),信号分析(机器学习)将世界抽象成知识。这有花,你很帅等等。
典型应用:自动驾驶,刷脸
计算机图形学(Computer Graphics,CG):
试图通过几何(拓扑)和物理规律(光照),呈现出逼近自然景象的非自然场景。比如游戏场景的逼真程度(上古卷轴)。
典型应用:3D游戏,VR
Metahuman(超写实数字人):
代表了一种人类基于自身形象特点的、但又具备着人类本体之外能力的想象,是基于拟真的“奇观”。
虚拟数字人是怎么实现的?
将虚拟人推向技术高峰的,当属——2021年年初,著名游戏公司Epic Games旗下的虚幻引擎(Unreal Engine)发布的3D高保真数字仿真人平台MetaHuman Creator。
基础技术
虚拟数字人系统一般情况下由人物形象、语音生成、动画生成、音视频合成显示、交互等 5 个模块构成。
语音驱动表情:
https://www.youtube.com/watch?v=lNQQHIggnUg
虚拟达人实现样例
Lil Miquela
阿喜
她的创作者是一位名叫Jesse的游戏公司上班族,他每天22:30到家后,会花2个小时时间制作阿喜,原画、建模、动作捕捉、毛发、打光、配乐等等,全部由他一个人完成。
Jesse有着十年电影CG(计算机动画)后期制作的工作经验,也做过CG导演。
AYAYI
AYAYI正是一位基于Unreal Engin深度开发的Metahuman——超写实数字人。特点是又像AI又像真人,是燃麦科技推出的第一款Metahuman“产品”。当前,燃麦科技主要由BD组、创意组(包括内容、设计、摄影)、技术组组成,团队成员有编剧、设计师,也有出身4A广告公司和MCN机构、掌握复合经验的资深从业者。
AYAYI的形象实现是真人换头,下面这张图中的配饰是来自“JOLYNNWEI”的虚拟配饰:
虚拟主播
而搜狗采用的是全球最领先的肌肉模型来完成3D建模,因为肌肉模型更加符合人的生理结构,不同参数之间可以更好地协同,所以每一个肌肉点的运动都会连带着很多面部皮肤联动。因此,通过肌肉模型完成3D建模,无论是面部表情还是肢体动作等细节,均可达到甚至高于一些影视作品或游戏的写实度。所以,新小微说话时,她的脸部表情及肢体协调得非常自然。
搜狗的3D AI合成主播“新小微”,并不是在此前2D合成主播的基础上升级迭代而来。陈伟在接受媒体采访时表示,2D的写实度比3D略高一些,但是3D的灵活性更高。基于路线探讨,搜狗还是区分了2D和3D,同时在底层算法上也做了充分的打通。
虚拟直播:将模型与真人演员绑定,并添加语音;
产业链
技术人才:
数字人的技术跨度大,从制作端的美术师、模型师、绑定师、材质师、动作捕捉师、灯光师、特效师、摄像师、导演、特效演员,到技术端的光学工程师、硬件工程师、软件工程师、算法工程师、系统工程师,以及运营端的产品经理、经纪人等每一个环节的人才都很重要,急需一套完善的人才供应体系,特别是跨界人才体系,才能保障产业的良性运转。
参考
https://www.sohu.com/a/437901934_115978
https://www.sohu.com/a/455697300_120712578
https://baijiahao.baidu.com/s?id=1703553024730225554&wfr=spider&for=pc