利用FFmpeg和OpenSL ES 实现音频解码播放

前言

利用FFmpeg 对一个 Mp4 文件的音频流进行解码，然后使用 libswresample 将解码后的 PCM 音频数据转换为目标格式的数据，最后利用 OpenSLES 进行播放。

FFmpeg 音频解码

前面我们已经对视频解码流程进行了详细的介绍，一个多媒体文件（Mp4）一般包含一个音频流和一个视频流，而FFmpeg 对音频流和视频流的解码流程一致。因此，本节将不再对音频解码流程进行赘述。

类似于视频流的处理，音频流的处理流程为：（Mp4文件）解协议->解封装->音频解码->重采样->播放。
 

这里面有反复提到重采样，类似于视频图像的转码，因为显示器最终显示的是 RGB 数据，这个一点比较好理解，那么为什么要对解码的音频数据进行重采样呢？

一般采集音频时会有多种采样率可以选择，当该采样率与音频设备驱动的固定采样率不符时，就会导致变声或者音频出现快放慢放效果。

此时就需要用到重采样来确保音频采样率和设备驱动采样率一致，使音频正确播放。

利用 libswresample 库将对音频进行重采样，有如下几个步骤：

//1. 生成 resample 上下文，设置输入和输出的通道数、采样率以及采样格式，初始化上下文
m_SwrContext = swr_alloc();

av_opt_set_int(m_SwrContext, "in_channel_layout", codeCtx->channel_layout, 0);
av_opt_set_int(m_SwrContext, "out_channel_layout", AUDIO_DST_CHANNEL_LAYOUT, 0);
av_opt_set_int(m_SwrContext, "in_sample_rate", codeCtx->sample_rate, 0);
av_opt_set_int(m_SwrContext, "out_sample_rate", AUDIO_DST_SAMPLE_RATE, 0);
av_opt_set_sample_fmt(m_SwrContext, "in_sample_fmt", codeCtx->sample_fmt, 0);
av_opt_set_sample_fmt(m_SwrContext, "out_sample_fmt", DST_SAMPLT_FORMAT,  0);

swr_init(m_SwrContext);

//2. 申请输出 Buffer
m_nbSamples = (int)av_rescale_rnd(NB_SAMPLES, AUDIO_DST_SAMPLE_RATE, codeCtx->sample_rate, AV_ROUND_UP);
m_BufferSize = av_samples_get_buffer_size(NULL, AUDIO_DST_CHANNEL_COUNTS,m_nbSamples, DST_SAMPLT_FORMAT, 1);
m_AudioOutBuffer = (uint8_t *) malloc(m_BufferSize);

//3. 重采样，frame 为解码帧
int result = swr_convert(m_SwrContext, &m_AudioOutBuffer, m_BufferSize / 2, (const uint8_t **) frame->data, frame->nb_samples);
if (result > 0 ) {
    //play
}

//4. 释放资源
if(m_AudioOutBuffer) {
    free(m_AudioOutBuffer);
    m_AudioOutBuffer = nullptr;
}

if(m_SwrContext) {
    swr_free(&m_SwrContext);
    m_SwrContext = nullptr;
}

OpenSLES 播放音频

OpenSL ES 全称为：Open Sound Library for Embedded Systems，是一个针对嵌入式系统的开放硬件音频加速库，支持音频的采集和播放，它提供了一套高性能、低延迟的音频功能实现方法。

并且实现了软硬件音频性能的跨平台部署，大大降低了上层处理音频应用的开发难度。

OpenSL ES 是基于 c 语言实现的，但其提供的接口是采用面向对象的方式实现，OpenSL ES 的大多数 API 是通过对象来调用的。

Object 和 Interface OpenSL ES 中的两大基本概念，可以类比为 Java 中的对象和接口。在 OpenSL ES 中， 每个 Object 可以存在一系列的 Interface ，并且为每个对象都提供了一系列的基本操作，如 Re