android mp3 混响 导出,Android7.1 Offload模式下的音频数据播放流程

在Android7.1 Offload模式下的音频数据抽取过程完成数据的抽取后，紧跟着会将数据交给AudioFlinger的track进行播放

对于offload的track，其在AudioFlinger中使用的播放线程并非是MixerThread(这种线程是在audioserver进程创建的时候就预先创建好了的)，而是实时创建的OffloadThread线程。

AudioFlinger.cpp (frameworks\av\services\audioflinger)

AudioFlinger::openOutput_l

thread = new OffloadThread(this, outputStream, *output, devices, mSystemReady);

OffloadThread是Android音频输出的核心部分，所有Android的硬解码音频(例如：mp3等音频文件)都需要经过OffloadThread进行混音后再输出到音频设备。

OffloadThread->DirectOutputThread->PlaybackThread->ThreadBase->Thread

在PlaybackThread中，重写了Thread的threadLoop,onFirstRef等方法，因此在调用OffloadThread这些方法时，实际上就是调用了PlaybackThread的方法。

1. onFirstRef

在getOutput的时候，我们创建了一个OffloadThread对象，由于这个对象继承于Thread，因此在创建对象时，会调用它的onFirstRef函数。

void AudioFlinger::PlaybackThread::onFirstRef()

{

run(mName, ANDROID_PRIORITY_URGENT_AUDIO);

}

在该方法内部，调用了run，即开始运行threadLoop。也就是说，其实在new OffloadThread的时候就已经开始启动PlaybackThread::threadLoop。

2. threadLoop

在分析threadLoop之前，我们先来了解PlaybackThread中的几种Audio操作。

在Threads.cpp内有几个threadLoop_xxx方法，这些方法就分别代表不同的Audio操作：

操作

方法

功能

standby

threadLoop_standby

待机

mix

threadLoop_mix

混音

write

threadLoop_write

音频输出

exit

threadLoop_exit

退出

drain

threadLoop_drain

只有offload用到，还不清楚作用

sleep

threadLoop_sleepTime

无音频需要处理，计算睡眠时间

另外还有几个非常重要的变量：

变量

取值

含义

tracksToRemove

需要被移除的Track，一旦所有的Track都被移除，则表明没有音频数据需要处理，那么线程会进入睡眠

sleepTime

睡眠时间

standbyTime

如果持续睡眠超出standbyTime，则会进入待机

mStandby

表明当前是否为待机状态

mActiveTracks

需要进行音频处理的Track，如果该Track已经播放完成或者被停止，则会被移入tracksToRemove

mMixerStatus

MIXER_IDLE

Mixer状态，no active tracks，表明不需要混音，而是进入睡眠

mMixerStatus

MIXER_TRACKS_ENABLED

Mixer状态，at least one active track, but no track has any data ready

mMixerStatus

MIXER_TRACKS_READY

Mixer状态，at least one active track, and at least one track has data，表明可以进行混音

threadLoop循环

threadLoop内有一个循环，PlaybackThread是与output(输出设备)相关的(在openOutput的时候才会新建OffloadThread)，基本上都不会跑出循环之外。

bool AudioFlinger::PlaybackThread::threadLoop()

{

while (!exitPending())

{

....

}

}

OffloadThread创建

在进入处理循环之前，首先会设置standbyTime、sleepTime。如果目前没有音频需要处理，进入睡眠，如果持续的睡眠时间超出了standbyTime，则会进入待机。不过由于standbyTime设置为当前时间，因此第一次肯定会执行待机动作。执行了待机操作后，OffloadThread就会进入睡眠，等待被唤醒

bool AudioFlinger::PlaybackThread::threadLoop()

{

//设置待机时间、睡眠时间

standbyTime = systemTime();

sleepTime = idleSleepTime;

while (!exitPending())

{

//创建OffloadThread时，mActiveTracks肯定是空的，并且当前时间会超出standbyTime

if ((!mActiveTracks.size() && systemTime() > standbyTime) || isSuspended()) {

if (shouldStandby_l()) { //创建OffloadThread时肯定会进入待机

threadLoop_standby();

mStandby = true; }

}

if (!mActiveTracks.size() && mConfigEvents.isEmpty()) {

//然后OffloadThread会在这里睡眠等待,知道AudioTrack:: start发送广播唤醒

mWaitWorkCV.wait(mLock);

standbyTime = systemTime() + standbyDelay;

sleepTime = idleSleepTime;

}

...

}

}

OffloadThread处理音频

如上一篇所说，AudioTrack:: start被执行后，就会唤醒OffloadThread线程，接下来就会对音频数据进行处理。处理流程如下图：

正常的音频处理时，会在threadLoop循环内不断的进行混音与音频输出，其中分为三个步骤：

混音前的准备工作，prepareTracks_l

混音，threadLoop_mix

音频输出，threadLoop_write

bool AudioFlinger::PlaybackThread::threadLoop()

{

while (!exitPending())

{

mMixerStatus = prepareTracks_l(&tracksToRemove);

if(mMixerStatus == MIXER_TRACKS_READY)

threadLoop_mix();

}

threadLoop_write();

}

}

① prepareTracks_l

准备混音的过程中，主要的目的有三个：

设置混音所需要的参数，包括：音量，混音的源buffer，混音目的buffer，音频格式，是否重采样等。

删除被加入tracksToRemove的track

返回当前状态mMixerStatus

由于在mActiveTracks中维护的track可能会有多个，因此需要对每个track都执行上述步骤，我们可以依据上述目的来对prepareTrack_l进行分析。

Threads.cpp (frameworks\av\services\audioflinger)

AudioFlinger::OffloadThread::prepareTracks_l：

...

} else if (track->framesReady() && track->isReady() &&

!track->isPaused() && !track->isTerminated() && !track->isStopping_2()) {

mixerStatus = MIXER_TRACKS_READY;

track->framesReady()要特别留意，其会检查AudioTrack(客户端)是否已经将数据准备好，如果已经Ready了则会设置mixerStatus(混音器状态)为MIXER_TRACKS_READY

②threadLoop_mix

在prepareTrack_l返回了mMixerStatus = MIXER_TRACK_READY，那么就可以进入threadLoop_mix进行混音了。有了上面prepareTrack_l设置的参数，在threadLoop_mix所需要做的主要就是调用AudioMixer的process方法进行混音了。不过还需要对某些变量进行更新。 源码如下：

void AudioFlinger::DirectOutputThread::threadLoop_mix()

{

size_t frameCount = mFrameCount;

int8_t *curBuf = (int8_t *)mSinkBuffer;

// output audio to hardware

while (frameCount) {

AudioBufferProvider::Buffer buffer;

buffer.frameCount = frameCount;

//通过共享内存的方式得到客户端传递过来的数据

status_t status = mActiveTrack->getNextBuffer(&buffer);

if (status != NO_ERROR || buffer.raw == NULL) {

// no need to pad with 0 for compressed audio

if (audio_has_proportional_frames(mFormat)) {

memset(curBuf, 0, frameCount * mFrameSize);

}

break;

}

//将待播放的音频数据拷贝到mSinkBuffer上去

memcpy(curBuf, buffer.raw, buffer.frameCount * mFrameSize);

frameCount -= buffer.frameCount;

curBuf += buffer.frameCount * mFrameSize;

mActiveTrack->releaseBuffer(&buffer);

}

mCurrentWriteLength = curBuf - (int8_t *)mSinkBuffer;

mSleepTimeUs = 0;

mStandbyTimeNs = systemTime() + mStandbyDelayNs;

mActiveTrack.clear();

}

③threadLoop_write

threadLoop_write用于混音后的音频输出

ssize_t AudioFlinger::PlaybackThread::threadLoop_write()

{

...

//网Hal中写入音频数据

bytesWritten = mOutput->write((char *)mSinkBuffer + offset, mBytesRemaining);

...

}

参考博客：

1. 混音线程MixerThread