GDC之旅丨如何为全球游戏玩家提供高品质、沉浸式的音频体验

网易数智

于 2024-04-03 08:59:44 发布

阅读量591

点赞数 23

文章标签：游戏音视频

本文链接：https://blog.csdn.net/netease_im/article/details/137371405

版权

上周，被誉为“全球游戏技术风向标”的游戏开发者大会 GDC 2024（Game Developers Conference 2024）在美国举办。来自全球各地的游戏开发者齐聚旧金山，围绕游戏 AI、VR/AR、编程、叙事、独立游戏等多主题展开研讨，展示最新游戏开发工具和服务。

作为支撑了众多国内及海外游戏客户的服务提供商，网易数智也在 GDC 大会亮相，网易数智游戏行业部 CTO 陶建容在机器学习峰会上带来精彩分享。

除此之外，我们也与现场开发者面对面聊了聊网易云信在游戏内语音互动服务的解决方案和实践经验，例如：如何提升玩家在游戏中的沉浸式体验、如何通过 AI 技术实现游戏音频降噪、全球玩家如何在游戏内实现实时顺畅的沟通等话题。

如何提升玩家在游戏中的沉浸式体验？

首先，来谈一谈沉浸式语音体验。游戏语音发展至今，玩家的需求已经从单一的能语音聊天，转向更贴近现实场景的沉浸式体验需求—— 从“听个声”到“听得真”。

最为明显的就是强语音诉求的 FPS 游戏。举个例子，当你没有听清楚耳机里传来的脚步声，突然转角遇到手持消音 AK47 的隔壁壮汉，又或者你正在开心舔包时，压着脚步摸过来的四位开黑佬，对着你背后一通扫射......连踩到石子的轻微响动都可能扭转整个游戏局势，可见在游戏中，玩家能“听得真”尤为重要。

如果声音有 3D 感，玩家的沉浸感和真实感就会提升很多。3D 音效，也称为空间音效（Spatial Sound），是通过在音频信号中添加空间信息，让听众可以感受到声音来自于特定的位置和空间环境，给游戏玩家带来更沉浸式、更真实的声音效果。

例如在玩 FPS 游戏过程中，你左后方的脚步声，同伴在你右边换弹夹的声音，又或是左后方窗户被打碎的声音.....你都能通过 3D 音效很好地被感知，依靠游戏内的空间音效来判断对手身位，听着真声儿来完成绝命一击，那简直太酷了。

本质上，3D 音效就是基于人耳的一些特殊心理声学效应，通过一些声学相关算法模拟，仿造出似乎存在但实际虚构的声音。网易云信提供的 3D 音效 AI 方案就能够将声音来源方向模拟成来自三维空间的特定位置，包括前后左右和上下，从而营造出更加真实和沉浸的音频体验，而且，这一技术已经成功集成到网易云信音视频 SDK 中，正迅速落地到各种游戏项目中。

如何通过AI技术实现游戏音频降噪？

再来说说环境噪声，相信大家都有过这样的体验——在游戏语音开黑时，跟队友紧张配合到一半，如果其中一名队友身处网吧，对方耳机里传来嘈杂且尖锐的环境音是十分糟心的体验，甚至会影响整个团队的发挥。那么，在这种场景下，降噪就成为了提升游戏体验的必选项。

音频降噪中最具挑战的噪声类型有两种：非平稳噪声和瞬态噪声。传统的 AI 降噪方案往往无法很好地平衡噪声与音质，通常噪声没了，通话也受到了牵连，要达成两者的平衡，只能提升成本。

网易云信为解决游戏厂商这一窘境，给出了自研 “AI 降噪”算法，在有效降噪、提升音质的同时，还做到了降本增效。这项技术通过智能分析环境音成分，自动甄别并过滤环境噪声。开启 AI 降噪后，在嘈杂的环境中能针对背景人声、键盘声等非平稳噪声进行定向降噪，并提升对环境稳态噪声的控制，保留更纯粹的人声，对于瞬态噪声，比如呼喊声、敲桌子声、关门声、桌椅挪动声等，也能更有效地抑制。

经常玩儿手游的朋友都知道，手游平台的语音一直存在着一个割裂游戏体验的问题：玩家一开麦克风，游戏声音就会如电话音一般，又像蒙上了一个罩子，让体验割裂。在这一方面，网易云信也给出了处理方案：回声消除智能 AEC（声学回声消除）算法。游戏语音不仅完成了回声消除，还能让游戏保持媒体音量，开麦也不会影响游戏声音的品质。

全球玩家如何在游戏内实时顺畅沟通？

在这一方面，不得不提的是网易云信的网络基础设施架构—— WE-CAN 全球智能路由网络。网易云信将加速节点部署在海外人口稠密地区、主要的经济发达地区等，并兼顾全球多个主要的运营商网络。通过将这些节点组织起来，同时令各个节点之间进行互相的质量探测，实时掌握每个节点的状态，最终当消息和媒体流数据传输发生时，WE-CAN 控制中心就能通过智能路由算法提供一条最优的传输路径，以此保证高效率的传输效果。

数百个加速节点，覆盖 196 个国家和 567 个地区，帮助众多游戏产品实现玩家就近接入，让游戏玩家体验低延时、不卡顿的游戏实时语音服务。同时，实时语音服务适配上万台设备机型，能够适应全球复杂的机型和网络状况。

换言之，无论游戏玩家处于全球何处，无论使用何种机型，网易云信的实时语音服务都能以极低延时提供游戏“Buff”，帮助玩家实现实时顺畅的沟通。