GVoice AI Codec落地《和平精英》，腾讯AI Lab、腾讯游戏CROS联合打造移动端「超音速」语音体验...

感谢阅读腾讯AI Lab微信号第 152 篇文章。本文介绍腾讯 AI Lab、腾讯游戏 CROS 联合打造的 Gvoice AI Codec 落地《和平精英》。

你有没有试过这样的场景：当你「开黑」正酣，指挥着队友有条不紊朝「敌人」后方挺进，突然语音掉线，因为联系不到队友而陷入孤立无援之境，进而痛失好局，不得不咽下失利的苦果……

随着移动端游戏产品的爆发，让游戏内的语音交流成为天南海北的玩家社交的刚需，也成为定义「高品质游戏」的重要因素之一，游戏内语音交互已经成为近年来众多游戏厂商的关注重点。

近日，腾讯游戏发布了最新游戏语音技术方案，腾讯游戏光子S工作室《和平精英》团队携手腾讯AI Lab、腾讯游戏 CROS GVoice（腾讯游戏语音）团队，基于深度学习在语音编解码器上的不断突破，将 AI Codec 应用于《和平精英》游戏中，在行业内率先实现 AI Codec 更低码率更高质量的语音编码，由此成为首个将 AI Codec 技术全面应用于游戏语音领域的产品。

弱网环境下的语音交流

成「开黑」痛点

此前艾媒咨询对移动游戏社交相关数据的统计表明，近 40% 的玩家因为社交因素选择一款游戏；15.6% 的玩家因为一款游戏社交性差而选择离开。因此，提高游戏的社交属性已成为各大游戏厂商的重要工作。

作为减少玩家「孤军奋战」感受的有效手段，游戏语音自诞生起就深受玩家喜爱，并且在手游时代，玩家们对移动手机端的游戏语音传输的质量、延迟时间和使用环境，提出了越来越高的要求。

事实上，实时语音通信技术在行业内早已不是一个新话题，但游戏内实时语音交流不仅仅是简单地实现实时通话即可。一个「好」的语音，最重要的是听感质量符合人的听觉要求，在这个前提下，传输码率越低，用户耗费的流量就越少；占用算力越少，CPU的能耗就越少。

发展至今，游戏语音传输技术在两个方面寻找突破。

首先是在弱网恶劣环境下，如何确保语音交流流畅是游戏语音技术面临的一个重要课题。同样的听感质量，如果语音信息的码率越低，其传输的连贯性就越有保障，换言之，低码率更适用于弱网环境。

其次，算力的损耗也是游戏语音要考虑的因素。由于重度游戏对CPU算力要求较高，因此，如何让语音功能尽可能的减少对CPU的占用，在保障用户的交流体验的同时，不对游戏操作和计算资源进行过多的挤压，成为其中的重点。

人工智能为游戏语音加上「BUFF」

当语音开黑、游戏社交成为刚需，众多国内外的科技企业也开始涉足这一领域。

在确保语音质量的前提下，传统的音频解码技术 Codec 致力于使用较少的网络带宽资源、较低的传输码率去传递更保真的语音信息。随着深度学习技术的发展，完全基于神经网络的语音编码器逐渐替代了传统的基于信号处理的方法，成为了业内前沿的解决方案。在此基础上，基于人工智能技术进化的 AI Codec 也越来越受到业界的关注。

为了给游戏内语音交互加上人工智能的「BUFF」，游戏界也进行了诸多尝试。例如，业界常用的Opus声音编码格式在低码率语音信息传输方面表现不如人意。2019年，行业涌现了一些超低码率 AI Codec，能够以极低码率对语音进行压缩，但是还原出的语音质量不太理想。 

Google 同样将目光瞄准了这一领域。2021年初，Google发布了基于自回归网络的 AI Codec Lyra。Lyra 能够在以低码率传输的同时保证声音效果，但不能提供高质量的实时通信，算法存在延迟的情况。半年后，Google再次发布了新的AI Codec模型SoundStream，相比于 Lyra，SoundStream 在语音传输质量方面有所提升，但由于模型复杂度较高，无法在大多数的手机上平稳运行。 

首个游戏移动端AI Codec语音技术

落地《和平精英》

与此同时，针对游戏内语音交互，国内厂商也在积极探索更好的解决方案。

作为国内头部战术竞技手游，《和平精英》一直致力于提升游戏品质优化玩家游戏体验。其中游戏语音因为应用场景众多，使用率极高，语音品质的优劣对游戏核心体验有着至关重要的影响，一直都是《和平精英》团队最关注的功能。

2021年底，《和平精英》团队携手腾讯 AI Lab、CROS 游戏语音 GVoice 团队一起正式立项 GVoice AI Codec 研发项目，基于腾讯音频与语音处理Oteam 在语音编解码方向的技术积累，新项目着力实现高质量、低码率和低功耗的游戏内实时语音环境。通过针对游戏场景进行深度优化，GVoice AI Codec 在游戏场景下的语音处理算法比传统即时通讯软件有更加优异的音质表现，并且在弱网环境下，以低码率保证了音质表现不受损害，确保在移动端得以应用。 

腾讯游戏语音 GVoice 是 Tencent Games CROS 为游戏打造的语音解决方案。资料显示，目前 GVoice 服务已经覆盖全球超过200个国家和地区，日活跃用户超3亿，相关解决方案被应用于《和平精英》《英雄联盟手游》《天涯明月刀手游》等数千款游戏。GVoice AI Codec 技术也将逐步拓展至其他游戏，提升语音交流流畅度，改善弱网环境下的用户体验。

GVoice AI Codec 通过自研编解码模型算法，传输带宽实现了压缩，并以 5-12kbps 的 AI Codec 替换了原来 24kbps 的 Opus，用户在主观听觉上的体验没有明显差别。这意味着，GVoice AI Codec 在保证音效质量的同时，传输码率更低，流量也更少。

在算力消耗方面，GVoice AI Codec 需要将这一运算复杂度与资源占用极高的编解码方式，通过模型压缩、量化、并行运算、移动端指令集适配等工程化措施，不断降低运算与资源开销，达到移动端落地要求。

数据显示，GVoice AI Codec 在手机 OnePlus 3 双工通话下测试，相比 Opus 格式 CPU占用率资源增长约为2.3%；在 iPhone 6s 下测试，采用GVoice AI Codec后CPU占用率增长约1.3%。这表明，GVoice AI Codec 用极低的CPU使用率增幅，换来了手机端更低流量的高质量实时通话。

左图为原始语音，右图为GVoice AI Codec 编解码后语音，从波形上看右图语音保真度高，主观听感接近原始语音

GVoice AI Codec 技术在《和平精英》中应用后，语音服务质量整体得到了进一步的提升。首先，通过对语音流量的优化，GVoice AI Codec 能够极大的提升玩家在交通出行、户外活动等弱网环境下的语音流畅性，避免在激烈战斗时出现卡麦、断麦的情况。其次，GVoice AI Codec 由于使用 AI 模型算法，相比传统的语音算法在人声传输方面会有所提升，在《和平精英》中玩家间的语音沟通效果会更加清晰，无论是战术配合还是多人闲聊都有更佳的社交体验。项目组通过在不同嘈杂环境、多种游戏情景下进行了多轮语音测试，结果显示均获得了更良好的玩家反馈。

从游戏发展的角度而言，GVoice AI Codec 在《和平精英》上的成功落地，为更多游戏语音技术的研发成果落地打下了基础，使得相关技术拓展至更多游戏成为可能。

无社交，不游戏。可以预见的是，随着云游戏、VR/AR等更多游戏品类的萌发，GVoice AI Codec 技术也将在更多品类的游戏体验方面起到越来越大的作用，成为新的行业标准。

* 欢迎转载，请注明来自腾讯AI Lab微信（tencent_ailab）