WebRTC与声音设备有关的代码在modules/audio_device
目录下面,包括各个平台的录音采集和播放声音的代码。 目前IOS版的源码被移动到sdk/objc/
目录下。
其中windows上的使用了Core Audio API。 Core Audio API 应该是Vista之后才支持的API,以前在winxp时代,我用的都是wave API和directsound。不过现在Core Audio API 看上去好像更强大,貌似支持回音消除等功能。
ios上的录音和播放也用到了比较底层的技术:Audio Unit。
参考文章: AudioUnit
1、Audio Unit 概念知识
image.png
Audio Unit 主要涉及到三个常用的概念知识: (1)AUGraph:包含和管理Audio Unit 的组织者; (2)AUNode /AudioComponent:是AUGraph音频处理环节中的一个节点。 (3)AudioUnit: 音频处理组件,是对音频处理节点的实例描述者和操控者。 我们不妨想像演唱会的舞台上,有录制歌声与乐器的麦克风,而从麦克风到输出到音响之间,还串接了大大小小的效果器,在这个过程中,无论是麦克风、音响或是效果器,都是不同的AUNode。AUNode 是这些器材的实体,而我们要操控这些器材、改变这些器材的效果属性,就会需要透过每个器材各自的操控界面,这些介面便是AudioUnit,最后构成整个舞台,便是AUGraph。AUNode 与AudioComponent 的差别在于,其实像上面讲到的各种器材,除了可以放在AUGraph 使用之外,也可以单独使用,比方说我们有台音响,我们除了把音响放在舞台上使用外,也可以单独拿这台音响输出音乐。当我们要在AUGraph 中使用某个器材,我们就要使用AUNode 这种形态,单独使用时,就使用AudioComponent。但无论是操作AUNode 或AudioComponent,都还是得透过AudioUnit 这一层操作界面。(上述文字摘自KKBOX iOS/Mac OS X 基础开发教材)
这儿感觉AUGraph有点像dshow中的多个Filter在 Filter Graph自己组合配合工作。而AudioUnit就是包装好的单个Filter的 FilteGraph。
WebRTC直接使用了AudioComponent来录音和播放,没有使用AUGraph和AUNode。
2、Audio Units
下面直接来看WebRTC中的代码:
bool VoiceProcessingAudioUnit::Init() {
RTC_DCHECK_EQ(state_, kInitRequired);
// Create an audio component description to identify the Voice Processing
// I/O audio unit.
AudioComponentDescription vpio_unit_description;
vpio_unit_description.componentType = kAudioUnitType_Output;
vpio_unit_description.componentSubType = kAudioUnitSubType_VoiceProcessingIO;
vpio_unit_description.componentManufacturer = kAudioUnitManufacturer_Apple;
vpio_unit_description.componentFlags = 0;
vpio_unit_description.componentFlagsMask = 0;
// Obtain an audio unit instance given the description.
AudioComponent found_vpio_unit_ref =
AudioComponentFindNext(nullptr, &vpio_unit_description);
// Create a Voice Processing IO audio unit.
OSStatus result = noErr;
result = AudioComponentInstanceNew(found_vpio_unit_ref, &vpio_unit_);
if (result != noErr) {
vpio_unit_ = nullptr;
RTCLogError(@"AudioComponentInstanceNew failed. Error=%ld.", (long)result);
return false;
}
...
}
AudioComponentDescription
的componentManufacturer永远为kAudioUnitManufacturer_Apple。componentFlags和componentFlagsMask也为0,不用问为什么,因为文档就这样写着。
componentType和componentSubType结合代表了Audo Unit中的七种类型:
Effect: iPod Equalizer Mixing: 3D Mixer、Mutichannel Mixer I/O:Remote I/O、Voice-Processing I/O、Generic Output Format Conversion:Format Converter
Effect Unit 一个效果单元,iPod Equalizer,与 iPod 内置应用使用相同的均衡器。此 audio unit 提供了一组预设的均衡曲线,例如低音增强,Pop 和 Spoken Word。
Effect Unit:
componentType = kAudioUnitType_Effect
componentSubType = kAudioUnitSubType_AUiPodEQ
Mixer Units 一共两个 mixer units:3D Mixer unit 和Mul