Siri算数字人吗？清华人大教授、初创公司CTO、 产业专家与快手工程师一起说｜CCF C³...

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

Hey Siri，请你告诉我，Siri算虚拟数字人吗？

Siri如何回答，取决于它对“虚拟数字人”如何定义。

虚拟数字人并非新鲜事物，虚拟偶像如洛天依等，在亚文化圈风靡已久。

近一两年间，伴随元宇宙概念兴起，虚拟数字人，这批元宇宙的原住民，愈发朝着智能化、精细化、多样化发展。

向前推进发展，虚拟数字人技术有哪些新趋势？这一元宇宙热度加持下的商业化应用，又有哪些落地挑战？

在CCF C³第十五次活动中，专家学者和行业大咖来到快手总部，就这些问题展开了深入讨论。

虚拟数字人走向“寻常百姓家”

细数普通人接触虚拟数字人的途径们，绕不开的就有快手。

上个月，快手面向全网推出“V-Star虚拟人计划”，引得狐璃璃、机灵小熊猫、万一、图南翼、M浔少鹿等虚拟主播入驻。

而快手自身，早于App内推出了快手虚拟演播助手，它是一款面向“中之人驱动”的虚拟数字人一站式工具。

“中之人驱动”意味着这个演播助手，背后依靠光学、惯性、摄像头等多种动作捕捉方式，驱动数字人进行直播，并配备了丰富的3D场景和特效。

快手Y-tech AI技术中心负责人万鹏飞介绍道，快手虚拟演播助手包含的虚拟世界互动玩法，可以让观众通过虚拟化身，“亲自”参与直播。

相对应的，不需中之人驱动的“老铁智播间”，就是一款自动化数字人直播互动和视频制作产品。

因为有数字员工、直播、天气播报等丰富的应用场景，又因虚拟数字人能7x24饱含激情地工作，增加了直播效率，也降低了运营成本。

△万鹏飞

Streamlake（快手技术to B品牌）的数字人及XR解决方案在应用层的第三个模块，是移动端混合现实引擎。

它让AR/MR效果在“寻常百姓家”成为可能，用户在普通手机上就能体验，且机型覆盖率远超苹果ARKit和谷歌ARCore，对用户终端很友好。

在三里屯、故宫、岳阳楼等街区和名胜古迹的各种空间尺寸下，用户都能体验AR/MR效果。

提升虚拟数字人的表现力

现如今，利用AR/MR效果，普通人能通过手机屏幕，看见攀爬、躲藏于三里屯标志性网红大楼的三只熊猫。

倒推20年——2000年前后，学术界已经有科研者们在探究虚拟数字人的奥秘。

据清华大学计算机科学与技术系长聘教授贾珈介绍，她所在实验室在虚拟数字人的细分粒度上，有四个不同角度和层面的研究。

△贾珈

• 虚拟脸像合成：已从早期规则驱动加参数合成，过渡到如今高精度数据驱动模式，提升了真实性和易用性。

• 肢体手势的合成和算法：基于深度自注意网络的说话人肢体手势生成算法，并从多模态上下文生成更加自然、更具有表现力、和语义相关性更强的手势动作。

• 基于人类编舞单元的自动舞蹈合成：数据驱动（3D舞蹈动作数据集）和知识（编舞知识数据集）相融合，可拓展研发面向不同对象的交互应用。

• 基于情感类别的可控情感语音合成：多维说话人属性驱动的语音生成，让虚拟数字人的声线更加贴近形象和人设，从而提升表现力。

虚拟数字人，到底什么样？

回到最初的问题，Siri到底算不算一个虚拟数字人？

圆桌讨论上，中国信通院云计算与大数据研究所内容科技部副主任石霖和快手研究员施侃乐都给出了否定的答案。

△石霖（左），施侃乐（右）

石霖认为，虚拟数字人最终要落点在“人”之一字上，也就是应具备人形。在他眼中，数字人应具备科幻色彩，以区别传统意义上的“人”，同时要具备智能化的交互功能和个性化色彩。

施侃乐自称虚拟数字人的原教旨主义者。他将虚拟数字人定义为“我自己”在虚拟数字空间中的残余，故而虚拟动物只能称为虚拟形象，而非所谓的虚拟人。

虽然人人都已经在生活中或深或浅地接触，但在这背后，发展虚拟数字人技术，并非没有待突破的技术难点。

无论是交互能力、对端侧的渲染支撑、内容安全、表情精细化，还是虚拟数字人的应用场景和业务能力，都还有很长的路要走。

中国人民大学高瓴人工智能学院长聘副教授宋睿华发表了自己的看法。

△宋睿华

她觉得，在离开“中之人驱动”之后，目前的虚拟数字人缺少人类的“魂”，在人机交互方面不能像真人一样，给予对方实时的反应。

北京中科深智科技有限公司联合创始人、CTO宋健从产业发展的角度表示，目前虚拟数字人面临的阻碍或挑战，不仅存在于软件等工具层面。

伴随虚拟数字人产业的扩大，标准化、安全问题、规模化等问题都会逐渐显现，并亟待解决。

△宋健

那么，现在的虚拟数字人发展处于什么水平？

有意思的是参与圆桌讨论的产业界人士一致认为，目前处于虚拟数字人发展早期，技术度较低，市场渗透率和知名度也不高，总体在探索尝试阶段；

学界两位嘉宾则有同样的看法，即虚拟数字人已经路过了过高期望的峰值，正走向泡沫化的低谷期。

嘉宾们还对虚拟数字人的最终形态各抒己见。

有人认为，未来的虚拟数字人应与机器人合二为一；也有人发表看法称，它应当是数实相生的人类未来伙伴。

而要走到这一步，道阻且长。

CCF C³

以上精彩内容，全部出自CCF C³的第15期活动，主题为“虚拟数字人”，由快手承办。

CCF将在2024年横店落地一座计算机博物馆，能够实地体验虚拟数字人技术。

C³活动是由中国计算机学会CCF CTO Club发起的，旨在联结企业CTO及高级技术人才和资深学者，每次以一个技术话题为核心，走进一家技术领先企业。

目前为止，CCF C³已先后走进京东、小米、搜狗、百度、亚马逊、阿里巴巴、联想、OPPO等企业。