五、环境建模
HRTFs和衰减一起为三维空间声音提供了无回声的模型,可以体现很强的方向信息,但是由于缺少空间因素,造成声音比较干和假。为了补偿这个,我们加入了环境建模来模拟周围空间的听觉效果。
1. 混响和反射
随着声音在空间中传播,它们会在平面上反射,造成一系列的回音。最初的回音可以帮助我们确定声音的距离和方向,当这些回音传播、消失以及交叉时,会产生混音(late reverberation tail),来增强我们的空间感。
混音和反射有以下几个模型。
shoebox model
6面平行的墙,需要指定距离,听者的位置和朝向。虽然这个模型很简单,但是总比没有强。
人工混音artifical reverberations
由于物理建模的计算复杂度很高,混音常常使用人工的模拟,ad hoc methods。虽然计算复杂度低了一些,但是由于缺少听者的朝向信息,可能会造成声音的失真,这与算法和实现相关。
sampled impulse response reverberation
基于抽样的脉冲响应与游戏中的环境不太匹配,同样缺少听者的位置和朝向,他们是单声道的,并且很难在不同空间进行转移。
2. 真实世界的空间和声音
shoebox模型试图对空间信息进行简化的表达,它假设没有冲突,并且所有墙对频率的吸收是相同的,并且六面墙对听者的距离是固定的。由于VR环境是复杂且动态的,这种方法不能很好的scale。
现有方法有对复杂环境进行建模,但是知名度不够高。
3. 环境的转变
对一个区域进行建模是很复杂的,但也很直接。但是当空间进行转换时,可能会有音频的不连续性,有些模型需要缓冲和重启整个混音器,有些系统会在现实系统中引入噪声。
4. 现场和沉浸式
开发者将用户沉浸在一个虚拟世界中,给用户一种现场感。当用户在场景中间时,音频的沉浸感是最强的。例如,一个人在远处观看3D棋盘游戏时,压迫感远不如她站在棋盘的中心。