游戏音频技术基础与音频中间件的使用

随着游戏不断渗透到我们的日常生活中，它变得越来越受欢迎，游戏已经成为了一个巨大的产业，比电影，书籍或音乐更大，并且多年来一直在稳步增长。从惊人的新虚拟现实（VR）和增强现实（AR）体验到大型多人在线游戏（MMOG），游戏革命仍然充满力量。 人们对游戏的体验要求也越来越过，不仅仅是视觉，还包括听觉。游戏音频技术也在不断发展。

游戏音频的基础知识

那什么是游戏音频？ 简而言之，它是为任何类型的游戏或互动媒体制作和配置声音的艺术，科学和技术。在此游戏行业发展的过程中，出现了一系列起伏，焦点转移和其他动态变化。

技术进步和变革正在持续，并将永远是游戏中工作的一部分，这意味着专业人士可以自豪地成为一个领域的一部分，这个领域经常推动技术可能的发展，并且在许多方面仍然存在将自己定义为艺术形式的过程中。

游戏音频如何工作

你可能会问，这一切都很好，但游戏的音频如何工作？ 首先，让我们考虑一下游戏与线性媒体（如电影或电视）相比有何不同。

这里的关键词是可预测性(predictability)。

在一部电影中，如果角色进入黑暗幽灵般的城堡，并在13分22秒时打开门，您可以轻松获得并创建吱吱作响的门的声音，并将其放在DAW时间线上。

只要与电影本身正确同步，它将始终同时播放。 换句话说，它是可预测的 - 你确切知道它何时会发生。 由于这种可预测性，我们可以简单地将所有声音和音乐混合到我们需要的输出格式：立体声，5.1环绕声甚至杜比全景声（Dolby Atmos），结果将是一个或多个100％可靠性的与视觉效果同步播放的文件。

在游戏中通常不是这种情况。游戏好比一场电影，每次从不同角度拍摄都得到不同的效果，因为角色会在不同的时间点、不同地点做出不同的决定。在一个游戏中，可以想象角色可以在一个幽灵般的城堡里永远四处游荡，也可能永远不会进入城堡本身！所以我们必须为几乎任何结果做好准备。

你怎么能实现一种你不知道什么时候将发生，甚至是否会发生的媒体效果呢？如何可靠地触发这些声音？答案是你需要抛弃只使用时间作为组织声音的基础想法，而是集中精力于行动本身。关键是要关注如何而不是何时。

让我们从角色行动的角度来考虑城堡的情况。假设在某个时刻，角色会来到房子并打开门。 什么时候没关系，我们只需设定这样的动作：行动＃001幽灵门开启，以及与之对应的门开的音频文件 'spookydoor.wav'

现在我们已经定义了我们的行动。 但是我们如何触发它呢？ 在所有游戏中，有一些东西会导致大门移动。 很可能这将是某种动画代码，或者你可以推开门的物理交互，或者你只需用鼠标或操纵杆按钮就可以点击它。无论门的动画触发器是什么，您只需将该动作与吱吱作响的门开口的声音文件联系起来即可！这就是即时同步。每当角色打开门时，声音就会播放。

然而，这种看似简单的思维转变要求游戏中的每一个声音必须作为一个单独的项目存在。 我们无法将声音效果和音乐完全混合到单个文件中。

交互式体验中的完全混合(full mixes)是例外，但也未必是一成不变的。 一切都必须独立地混合和处理- 在许多情况下是实时的(Everything has to be independently mixed and mastered separately—and in many cases in real time.)。 此外，我们必须真正组织好所有这些音频文件。（对于沉浸式AAA冒险游戏，可能有数十万个文件！）这样，程序员才能跟踪每个声音资产的功能。

声音如何进入游戏

在游戏中触发音频的方式与游戏的设计方式密切相关，每个游戏本身就是一个完整的宇宙。 它有一套针对行为和交互性的规则和规则，游戏设计方面的任何变化都会显着影响声音的触发方式。

让我们来看一下声音进入游戏的过程。 请注意，这是一个关于事物如何工作的简略视图，可能不适用于每个游戏开发情况。

对于一个游戏，您通常会从游戏项目中用于回答重要问题的文档开始，包括它是什么类型的游戏，受众是什么，什么是硬件平台等等。该文档被称为GDD（游戏设计文档）。 您通常还会有一个单独的TDD（技术设计文档），以及一个音频资产列表，告诉您项目所需的声音。 您甚至可以获得一个非常早期的游戏副本（通常称为“开发者构建”），你可以在预定的平台上运行，无论是iPad，PC，移动设备还是游戏机。

请记住，这是一个非线性过程，所以你经常会按类别弹出个别音乐组件、音效、配音和音乐。 然后，您必须根据您或游戏开发人员讨论并决定的文件命名约定来组织和命名每个声音。 然后，您将需要进一步掌握、编辑和修剪每个文件，以便在触发时没有延迟，基本音频级别是合适的，如果声音文件需要循环播放，则它没有弹出或点击。 游戏音频必须无缝循环！

传入引擎的两种方法：

在设计，弹跳（bouncing），命名和编辑之后，通常有两种方法可以将声音传入游戏引擎。

第一种方法，声音设计师或作曲家提交资产列表和资产给程序员（也称为集成师integrator），然后程序员通过编写代码或设置在适当的时刻、以正确的方式在游戏引擎内部，来触发音频，从而将它们放入游戏中。

在这种情况下，良好的沟通是必须的，因为作曲家或设计师几乎无法控制声音的播放方式，并且必须相信程序员会做正确的事情。 通常，测试环境会被搭建，以便可以改进和修改声音设计。在这种情况下，声音设计的总体影响在很大程度上取决于程序员对如何使所有这些资产的理解。

在第二种方法中，我们使用称为音频中间件的工具，它允许音频设计师扩展对游戏中音频行为的控制。 一些行业标准和众所周知的中间件工具是FMOD Studio、Wwise、Fabric和Elias。 有些公司甚至会在内部创建自己的音频中间件。

使用中间件的好处

通过使用中间件，作曲家或声音设计师也神奇地成为音频实现者。 然而，沟通仍然是关键，因为游戏中的许多声音仍然需要音频设计师与在游戏中设置触发器或参数的程序员一起工作。

在这种情况下，负责音频的人员使用资产列表并像以前一样命名文件，但不同点是，所有的音频文件会被发给第三方，您可以使用中间件从第三方的库文件中导出所有的音频文件，其中包含所需的原始音频数据，以及配置文件。

因为您可以直接在中间件中测试声音平衡和交互 - 通常在游戏引擎里 - 结果可以是更加无缝，动态和令人兴奋的音频体验，让游戏玩家更加充分地沉浸其中。 当然，音频设计师也为你做了很多工作。

总结一下：

好的，这是关于将声音置于游戏环境中基本操作的概述。 请记住，上述方法只是几种常用方法，并不适用于每种游戏开发情况。游戏的声音不是一个单独的规则，而是一系列规则的集合，它们共同组成了完整的声音设计。

参考：外文网站

---

当下，Unity在手游开发领域可谓如日中天，但其自身提供的音频功能，比其第三方的Wwise工具还是有不小的差距，所谓“专业的事，交给专业的人”，无论是对音效师和程序员的友好程度，还是功能的完善，Wwise征服了一个个游戏巨头：腾讯、网易、巨人、米哈游……

UWA学堂一致致力于游戏行业技术的快速普及，本次通过《Wwise音频引擎入门和实践》，从Wwise的实际应用需求出发，在多语言的实现、不同材质的脚步声、玩家的心跳等多个方面，提供了详细的方案和demo实现过程。对音频感兴趣的朋友们，快来品读这篇Wwise大作吧。