open sl java audio_webrtc学习(二): audio_device之opensles

audio_device是webrtc的音频设备模块.  封装了各个平台的音频设备相关的代码

audio device 在android下封装了两套音频代码.

1. 通过jni调用java的media进行操作.

2. 直接通过opensl es的native c接口进行操作.

native 接口自然比较高效,  但缺点在于opensl 要求 android 2.3+.

OpenSL ES (Open Sound Library for Embedded Systems) 是无授权费、跨平台、针对嵌入式系统精心优化的硬件音频加速API

opensl的资料非常少, google了一遍, 也就找到两篇有点用的文章.

OpenSL ES for Android对于代码是ndk samples 中的native-audio.

webrtc 的example中提供了一个opensl es的例子. opensl_loopbakc(opensldemo-debug.apk) 用于示范 opensl的使用 (回放声音).

花了一点时间分析了下全部的流程, 因为无法调试, 所以看起来很烦. 线程处理的地方加了log才看明白.

主要有这几个类:

1. AudioDeviceBuffer

缓存类, 方法RegisterAudioCallback.  通过callback来通知数据采集(record), 或者请求数据(playout).

2. OpenSlesInput

record 的实现.

3. OpenSlesOutput

playout的实现.

4. SingleRwFifo

实现了一个无锁队列.

播放的流程:

1. 创建OpenSlesOutput 并且 AttachAudioBuffer,  初始化opensl的相关信息(engine, outmix