low latency playback、deep buffer playback、compressed offload playback的区别

1,音频播放

Android系统audio框架中主要有三种播放模式:low latency playback、deep buffer playback和compressed offload playback。

a)low latency playback:用于按键音、游戏背景音等对时延要求高的声音输出。音频文件是在AP侧解码成PCM数据,然后再经由Audio DSP送给codec芯片播放出来。

b)deep buffer playback:用于音乐等对时延要求不高的声音输出。音频文件是在AP侧解码成PCM数据,如果有音效的话会再对PCM数据处理(android audio framework中有effect音效模块,支持的音效有均衡器、低音增强、环绕声等),然后再经由Audio DSP送给codec芯片播放出来。

c)compressed offload playback:用于音乐等声音输出,但是音频解码部分的工作是在Audio DSP中完成,AP侧只负责把音频码流送到Audo DSP中,送出去后AP侧会进行休眠,Audo DSP中会分配一块较大的buffer去处理此数据,在Audo DSP中进行解码、音效的处理等工作,在Audo DSP解码器处理完数据之前,它会唤醒AP侧去送下一包数据。用这种模式播放音频能有效的降低功耗,是最为推荐的播放音乐的模式。但是在目前的主流的音乐播放APP中用的基本上都是deep buffer的播放模式,比如QQ音乐、网易云音乐和酷狗音乐等。看来系统平台厂商和APP厂商的做法是有差异的。至于哪些格式的音乐用这种模式播放,这需要在audioPolicy中去控制,我做的平台上是MP3(*.mp3)和AAC(*.m4a)用offload模式播放,因为这两种格式最主流。

 

综上low latency 模式和deep buffer模式都是在AP侧解码完后送PCM数据给Audio DSP,故音频数据流向类似,我将放在一起讲,而compressed offload模式是码流送给Audio DSP解码。播放系统音和游戏音用low latency 模式,播放音乐用deep buffer或者compressed offload模式,播放录音用deep buffer模式。接下来我们看看low latency /deep buffer和compressed offload两种模式下的音频数据流向。在音频播放时音频数据只经过AP和audio DSP。

 

1)low latency / deep buffer模式下的音频数据流向

从上图看出,音频文件先在AP上软解码得到PCM后经过AudioTrack/audioFlinger中的Mixer thread(有可能要做音效后处理)/audio HAL/tinyALSA后送给kernel,然后用IPC将PCM送给Audio DSP经重采样混音等后播放出来。由于在AP上已做解码和音效后处理,Audio DSP上就不需要做了。

 

2)compressed offload模式下的音频数据流向

从上图看出,音频码流经过AP上的AudioTrack/audioFlinger中的Offload thread(不需要做音效后处理)/audio HAL/tinyALSA后送给kernel,然后用IPC将码流送给Audio DSP经解码、后处理、重采样、混音等后播放出来。

 

2,音频录制

很多人喜欢把参加的重要会议或者演讲的音频录下来,以便重复听或者他用。下图就是录音时音频数据的流向。同音频播放一样,录音时音频数据也是只经过AP和audio DSP。

从上图看出,codec芯片采集到的PCM数据送给Audio DSP经重采样、前处理后送给AP的kernel,再经由tinyALSA/audio HAL /audioFlinger中的Record thread/audioRecord等后做软编码得到录音码流文件并保持起来。

 

3,语音通信

语音通信就是打电话啦。它同音频播放或者录制不一样,它是双向的,分上行(uplink,把采集到的语音发送给对方)和下行(downlink,把收到的语音播放出来),而音频播放或者录制是单向的。它音频数据流向也跟音频播放或者录制不一样,只经过audio DSP和CP,下图就是打电话时音频数据的流向。

从上图看出,在上行方向上codec芯片采集到的PCM数据送给Audio DSP经重采样、前处理(AEC/ANS/AGC等)、编码后得到码流,并将码流送给CP,CP处理后经过空口(air interface)送给对方。在下行方向上先从空口收对方送过来的语音数据,并做网络侧处理(jitter buffer等),然后送给Audio DSP,Audio DSP收到后做解码、后处理(ANS/AGC等)、重采样等,再把PCM数据经DMA/I2S送给codec芯片播放出来。

  • 13
    点赞
  • 78
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要允许从HDMI输入播放捕获到AudioTrack,您需要使用AudioPolicyService来配置音频策略。以下是一些步骤: 1. 创建一个名为audio_policy.conf的文本文件,并将其放在/system/etc/目录中。 2. 在audio_policy.conf文件中,为HDMI输入定义一个AudioProfile,例如: ``` profile "hdmi_in_playback" { formats AUDIO_FORMAT_PCM_16_BIT rates 44100 channel_masks AUDIO_CHANNEL_OUT_STEREO devices AUDIO_DEVICE_IN_HDMI } ``` 此配置文件定义了一个名为“hdmi_in_playback”的音频配置文件,它支持16位PCM格式,采样率为44100Hz,双声道输出,并使用HDMI输入设备。 3. 更新AudioPolicyService的配置,使其支持新的音频配置文件。在设备上运行以下命令: ``` adb shell service call audio 3 i32 0 i32 1 s16 "your_package_name" s16 "your_audio_policy.conf_file_path" ``` 这将更新AudioPolicyService的配置,并使其支持新的音频配置文件。 4. 在您的代码中使用AudioTrack对象,并使用“hdmi_in_playback”配置文件进行初始化: ``` AudioTrack track = new AudioTrack.Builder() .setAudioAttributes(new AudioAttributes.Builder() .setUsage(AudioAttributes.USAGE_MEDIA) .setContentType(AudioAttributes.CONTENT_TYPE_MUSIC) .build()) .setAudioFormat(new AudioFormat.Builder() .setEncoding(AudioFormat.ENCODING_PCM_16BIT) .setSampleRate(44100) .setChannelMask(AudioFormat.CHANNEL_OUT_STEREO) .build()) .setBufferSizeInBytes(bufferSize) .setTransferMode(AudioTrack.MODE_STREAM) .setPerformanceMode(AudioTrack.PERFORMANCE_MODE_LOW_LATENCY) .setSessionId(AudioSystem.newAudioSessionId()) .setOffloadedPlayback(true) .setOffloadDelayFrames(0) .setOffloadPositionUpdateListener(null, null) .setPreferredDevice(AudioDeviceInfo.TYPE_HDMI) .build(); ``` 这将使用“hdmi_in_playback”配置文件初始化AudioTrack对象,并将首选设备设置为HDMI输入设备。 请注意,这些步骤可能因设备和Android版本而异。在实施此解决方案之前,请确保您已经了解了相关文档和API,并且已经进行了适当的测试。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值