沉浸式音频技术的制作，采集，播放及应用

沉浸式音频技术近年来逐渐扩大其应用范围，常见应用于VR，影视，会议等场景。本文由时代拓灵创始人&CEO，孙学京博士LiveVideoStack线上分享的内容整理而成，从声场采集，传输，渲染播放算法以及软硬件等方面详细介绍了沉浸式音频技术的发展与应用。

文 / 孙学京

整理 / LiveVideoStack

 

大家好，我是来自时代拓灵的孙学京。本次分享将主要介绍沉浸式音频的从采集制作一直到播放整个链条上所需要的一些软件和硬件的技术。

内容可以分为以下五个方面：

1.     沉浸式音频简介

2.     声场采集技术，硬件和软件

3.     制作、存储、传输

4.     渲染播放

5.     行业现状和相关应用

1.  沉浸式音频简介

1.1 什么是沉浸式音频？

 

什么是沉浸式音频？大家最近可能经常听到“沉浸式音频”，“全景声”这两个名词，那么它们与之前的环绕声或者3D音频有什么本质的区别吗？

通俗地讲，它们之间可能有很多的相似之处。但就技术层面来说，从底层架构，到最终的展现形式都有非常大的变化。

 

首先我们把传统的5.1音频扩展为不仅包含声道也包含对象和场景。目前，沉浸式音频类型主要分为三大类：基于声道Channel based audio （CBA）、基于对象Object-based audio （OBA）、基于场景Scene-based Audio （SBA）。

 

目前市面上一些主流的系统主要是Dolby Atmos、MPEG-H以及影视行业的SMPTE 2098协议。其主体还是基于Dolby Atmos，但同时它还允许其它不同标准被兼容在此协议内，也就是说Dolby Atmos某种意义上是SMPTE 2098的一个子集，我们可以在兼容Dolby Atmos的同时，推出自己的标准。因此我相信，接下来沉浸式音频将来会迎来一个非常大的利好。

 

1.2  沉浸式音频-传统到3D音效

 

基于扬声器的沉浸式音频，常见的是5.1或7.1，如果是耳机设备，则会有HRTF双耳3D环绕的音频。5.1音频实际上是固定的声道位置，由左前、右前、左后、右后构成，而7.1就是在5.1基础上再加两个背后的声道位置，.1就是低频通道的意思。

 

目前新的沉浸式音频，不再局限于平面式的声道，进一步支持全面360度*360度的沉浸式音频（支持高度）。例如影院的杜比影厅，顶部都会布有很多的喇叭；如果是家庭的话，我们经常叫做5.1.2，就是在顶上再设置两个音箱，或者7.1.4就是在顶上再设置4个音箱。

 

真正想要达到一个非常好的沉浸式效果，顶部的高度信息带来的对人的感官冲击感是非常强烈的，比如下雨或者打雷的声音。即使在平时可能感觉不到很明显的差别，但当你真的专注于音频效果时，增加了高度信息的音频感觉就会非常震撼。

 

这种变革如果停留在传统的5.1格式上是很