ARCore之路－运动跟踪之3D声场（二）

  在上章中我们对3D声场进行了简单介绍，本节将对3D声场概念及共振音频（Resonance Audio）的技术实现进行更深入的学习以便更好的利用之。为何我们能够根据听到的声音就能确定声源的位置呢？上节我们对这个问题进行了简单阐述，根据听到的声音信号，我们可以将声音归成两类：
  1、直接信号
  2、间接信号
  在耳朵接收到这两类信号后，大脑会进行处理并根据以往经验来对声源和环境进行确定，共振音频（Resonance Audio）技术就是通过模拟这两类信号差异来让大脑产生与真实一致的声音体验的。在真实世界中，我们也是通过耳朵与声音信号的交互来确定声源的水平与垂直位置，共振音频（Resonance Audio）技术模拟了这个交互过程。

一、声波与双耳间的互动

1、抵达双耳的时间差

  抵达双耳的时间差（Interaural Time Differences, ITD），由于声源到左耳与右耳的距离不同（当然也可以相同），因此声音信号传播到两只耳朵的时间也会有细微的差距，这样的时间差可以帮助我们了解声源的水平(horizontal)位置，特别是在低频声源的情况下，大脑定位会更准确一些。这个时间差取决于声源相对于你的水平位置，一个声源离你的左右耳差距越大，时差就越大。

2、抵达双耳的强度差

  我们知道，声音是源于物体受力产生震动，声波的频率指的是一秒内物理震动的次数，如物体一秒震动440 次，该声波的频率为440Hz，在自然界的声音中极少是由单一频率组成，声波多是由数个频率叠加组成复合波。由于人类耳朵对声源频率的接收频率有限，对高频声源是无法仅仅由时间差(Interaural Time Differences，ITD)得知它的水平位置。另外实际上声波常常会受到阻挡而无法继续传递、扩散，进而产生声音的阴影区（acoustic shadow）的区块，例如声波遇到建筑物、人的头部都会有这种现象，这会影响到左右耳听到不同的声音大小并接收到不同的频率分布。这些差异能帮助耳朵判断声源的水平位置，当频率越高时，双耳接收到的大小声甚至会差更多，最高可以差到8~10 dB。

3、耳廓效应

  时间和强度的差异帮助我们定位声源的水平位置，声音进入外耳时会有不同的入射角、不同的折射角，来自不同方向的声音以不同的方式从我们的外耳反射进入内耳，这都会造成声波频率的改变，从而产生差异。我们的耳朵就用这种差异去辨别去声源的垂直高度( elevation)的。

二、头部关联传导函数

  为了模拟真实的声波与我们的耳朵之间的相互作用，共振音频（Resonance Audio）技术使用了头部关联传导函数(Head-Related Transfer Functions ，HRTFs)音效定位算法。HRTFs包括我们用来确定声音位置的时间差和强度差的影响，以及我们用来确定声音位置的频谱效应，该算法计算声波从发射、反射后行经头部、耳朵的种种效应，模拟人的神经系统如何去判断声源位置，尤其是声源的垂直高度( elevation)。通过耳机使用HRTFs处理的听觉音频使用户大脑产生一种错觉，即声音在他们周围的虚拟世界中有一个特定的位置（这就达到了声源的模拟定位的目标）。除此之外，共振音频（Resonance Audio）技术不仅能模拟声波与我们的耳朵的相互作用，还能模拟声波与其周围环境的相互作用。

三、头部转动与声音位置

  对于我们来说，我们更关心的是用户头部的运动（其实是手机设备的姿态），因为对AR应用而言，这个非常关键，在真实生活中，移动我们的头部会导致声波与双耳间的相互作用的变化，我们有大脑可以帮助我们感知音频位置的相对变化。共振音频（Resonance Audio）技术也反映了这种情况，以便维持一个声源在声音范围内的位置。ARCore可以跟踪用户设备的姿态，共振音频（Resonance Audio）技术使用这些信息来在相反的方向旋转声场（通常是声音的作用球体），这样就能保持虚拟声音相对于用户的位置。

四、早期反射和混音

  在现实世界中，当声波在空气中传播时，除了透过空气进入耳朵外，还会经由墙壁或是环境内的介质反射后进入耳内，混合成我们听到的声音，这就产生了一个复杂的反射组合。共振音频（Resonance Audio）技术将声波的混合分为以下三个部分。

1、直达音

  从声源直接传入耳朵的声波我们称为直达声（direct sound），直达声随着传递的距离增加，能量就会减少，这也是为何离我们较远的声音会比较小的原因。

2、早期反射音

  除了直达声外，声波遇到介质会不断反射，如果经过1次反射后就进入耳朵的，我们称作早期反射音( early reflections)。通过耳朵听见的反射音会帮助我们了解身处的空间大小与形状。共振音频（Resonance Audio）技术会实时的对早期反射进行空间化，并为每个反射呈现模拟源，这样，我们就能模拟声源与环境的交互过程。

3、晚期反射音

  声波会在环境中不断的反射，反射音随着时间不断增加，形成更多也更密集的反射音，会密集到我们无法分辨，直到单个声波无法区分为止。这种现象我们称之为后期混响（late reverb）。共振音频（Resonance Audio）技术内建了一个强大的混响引擎（reverb engine） ，能真实的还原声音在空间内的反射，开发者可以设定空间大小与反射的材质去测试不同的情况。通过调整room大小或墙壁的表面材质，混响引擎会实时做出反应，并调整声波以适应新的环境，更好的模拟不断变化的用户环境。

五、声音遮挡

  在真实生活 中，当耳朵与声源之间有障碍物的情形下声音的高低频都会被影响，由波的衍射可知，高频率的声音会更容易被障碍物阻挡。为了进一步增加真实感，共振音频（Resonance Audio）技术还模拟了声源和耳朵之间传播时遇到障碍物时的遮挡效果。共振音频（Resonance Audio）通过处理高频和低频的不同分量来模拟这些环境遮挡效应，通过阻塞更多高频部分，模拟现实世界中发生的事情。

六、指向性

  声源的指向性模式与声音遮挡密切相关，指向性指声音以不同方向从声源发出的方式，从波的传播可知，声波的频率越高其直线传播的指向性越好，换句话说，就是高频部分绕过障碍物的能力越差。根据声源的指向性和用户相对于声源的位置，感受到的声音是不同。如，当我们围着一个弹吉他的人绕圈走，当我们在吉他正前面时，听到声音响亮得多，当我们在吉他后面时，吉他和演奏者的身体挡住了来自琴弦的声音，我们听到的声音就要小一些，这就是声音的指向性。
  共振音频（Resonance Audio）技术考虑到这方面情况，就提供了2 个相关的参数供使用者设定：
  Alpha ：用于设定不同的声源指向性，例如心型指向(cardiod)、圆型指向( circular)和八字型指向(figure-eight shapes)
  Sharpness ：设定每种指向性的宽度

七、Ambisonics

  Ambisonics是一种录制和播放声音的技术，是专门用来模拟原始三维声场效果的声音系统，它通过由四个指向不同方向的心形麦克风组成“四面体阵列”实现三维度全覆盖的360度沉浸式全景环绕声音录制，与普通环绕声不同，播放效果更类似于Dobly Atoms，Ambisonics除了水平环绕声音，还包括水平与上下垂直方向的声源。共振音频（Resonance Audio）技术主要是用Ambisonics的技术处理声波与环境的互动，在此项技术中Ambisonic order是影响模拟声波的重要因素，当Ambisonic order增加，模拟的结果就会越清晰准备，反之则模糊。

参考文献

1、Resonance Audio Fundamental Concepts Fundamental Concepts
2、Ambisonics Ambisonics
3、Resonance Audio Resonance Audio