Android-音视频学习系列-(十)基于-FFmpeg-+-OpenSLES-实现音频万能播放器

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip204888 (备注Android)
img

正文

void av_frame_free(AVFrame **frame);

//3. 接收解码之后的数据 0 is ok
int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);

//对解码之后的 PCM 进行统一重采样。规定一些格式,避免不统一而渲染异常
//4. 根据传入的参数来分配一个 SwrContext
struct SwrContext *swr_alloc_set_opts(struct SwrContext *s,
int64_t out_ch_layout, enum AVSampleFormat out_sample_fmt, int out_sample_rate,
int64_t in_ch_layout, enum AVSampleFormat in_sample_fmt, int in_sample_rate,
int log_offset, void *log_ctx);

//4.1 对 SwrContext 进行初始化
int swr_init(struct SwrContext *s);
//4.2 开始重采样
int swr_convert(struct SwrContext *s, uint8_t **out, int out_count,
const uint8_t **in , int in_count);

OpenSLES 渲染 PCM

这里还是以流程的形式介绍 API 含义

//1. 创建播放引擎
result = slCreateEngine(&engineObject, 0, NULL, 0, NULL, NULL);
result = (*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);
result = (*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine);

//2. 创建混音器
const SLInterfaceID mids[1] = {SL_IID_ENVIRONMENTALREVERB};
const SLboolean mreq[1] = {SL_BOOLEAN_FALSE};
result = (*outputMixObject)->Realize(outputMixObject, SL_BOOLEAN_FALSE);
result = (*outputMixObject)->GetInterface(outputMixObject, SL_IID_ENVIRONMENTALREVERB,
&outputMixEnvironmentalReverb);
if (SL_RESULT_SUCCESS == result) {
result = (*outputMixEnvironmentalReverb)->SetEnvironmentalReverbProperties(
outputMixEnvironmentalReverb, &reverbSettings);
(void) result;
}
SLDataLocator_OutputMix outputMix = {SL_DATALOCATOR_OUTPUTMIX, outputMixObject};
SLDataSink audioSnk = {&outputMix, 0};

//3. 配置PCM格式信息
SLDataLocator_AndroidSimpleBufferQueue android_queue = {SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, 2};

SLDataFormat_PCM pcm = {
SL_DATAFORMAT_PCM,//播放pcm格式的数据
2,//2个声道(立体声)
static_cast(getCurSampleRate(sample_rate)),//44100hz的频率
SL_PCMSAMPLEFORMAT_FIXED_16,//位数 16位
SL_PCMSAMPLEFORMAT_FIXED_16,//和位数一致就行
SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT,//立体声(前左前右)
SL_BYTEORDER_LITTLEENDIAN//结束标志
};

SLDataSource slDataSource = {&android_queue, &pcm};

const SLInterfaceID ids[3] = {SL_IID_BUFFERQUEUE, SL_IID_VOLUME, SL_IID_MUTESOLO};
const SLboolean req[3] = {SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE};

result = (*engineEngine)->CreateAudioPlayer(engineEngine, &pcmPlayerObject, &slDataSource, &audioSnk,
sizeof(ids) / sizeof(ids[0]), ids, req);

//4. 初始化播放器
result = (*pcmPlayerObject)->Realize(pcmPlayerObject, SL_BOOLEAN_FALSE);
result = (*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_PLAY, &pcmPlayerPlay);

//5. 注册回调缓冲区 获取缓冲队列接口
(*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_BUFFERQUEUE, &pcmBufferQueue);
(*pcmBufferQueue)->RegisterCallback(pcmBufferQueue, pcmBufferCallBack, this);

//6. 设置播放状态
(*pcmPlayerPlay)->SetPlayState(pcmPlayerPlay, SL_PLAYSTATE_PLAYING);

//7. 手动激活回调接口
pcmBufferCallBack(pcmBufferQueue, this);

初始化就是这 7 大步,那么渲染的话,就是在 pcmBufferCallBack 中进行设置,直接上代码吧:

void pcmBufferCallBack(SLAndroidSimpleBufferQueueItf bf, void *pVoid) {
auto audioPlayer = static_cast<BaseAudioChannel *>(pVoid);
if (!audioPlayer)
return;
if (audioPlayer->status && audioPlayer->status->exit)
LOGE(“looper pcmBufferCallBack start”);
//拿到 PCM 原始数据
int size = audioPlayer->getPCMData();

//对 PCM 做变速变调操作。
size = audioPlayer->setSoundTouchData();


//8. 放入缓存,开始播放声音
(*audioPlayer->pcmBufferQueue)->Enqueue(audioPlayer->pcmBufferQueue, audioPlayer->out_pcm_buffer, size);


}

对,没错。第八步就是真正将 PCM 放入 OpenSL ES 缓冲队列中,这里要注意,一点要等它的上一帧渲染完在放入下一帧 PCM 数据。

功能点实现:

声道选择

声道操作直接操作的是 OpenSLES 接口,具体 API 如下:

//1. 得到音频声道通道接口
(pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_MUTESOLO, &pcmChannelModePlay);
//2. 设置音频通道
/
*

  • 设置音频通道
  • @param channelMode
    */
    void BaseAudioChannel::setChannelMode(int channelMode) {
    this->mChannelMode = channelMode;
    if (pcmChannelModePlay != NULL) {
    if (channelMode == 0)//右声道
    {
    (*pcmChannelModePlay)->SetChannelMute(pcmChannelModePlay, 1, false);
    (*pcmChannelModePlay)->SetChannelMute(pcmChannelModePlay, 0, true);
    } else if (channelMode == 1)//左声道
    {
    (*pcmChannelModePlay)->SetChannelMute(pcmChannelModePlay, 1, true);
    (*pcmChannelModePlay)->SetChannelMute(pcmChannelModePlay, 0, false);
    } else if (channelMode == 2)//立体声 通道为 2 也就是我们重采样设置的 AV_CH_LAYOUT_STEREO
    {
    (*pcmChannelModePlay)->SetChannelMute(pcmChannelModePlay, 1, false);
    (*pcmChannelModePlay)->SetChannelMute(pcmChannelModePlay, 0, false);
    }
    }
    }

音量控制

声音音量控制这里还是基于的是 OpenSLES 接口,对应 API 如下:

//1. 拿到音频声音控制接口
(pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_VOLUME, &pcmVolumePlay);
//2. 设置声音
/
*

  • 平滑设置当前音量
  • @param volume
    */
    void BaseAudioChannel::setVolume(int percent) {
    this->curVolume = percent;
    if (pcmVolumePlay != NULL) {
    if (percent > 30) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -20);
    } else if (percent > 25) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -22);
    } else if (percent > 20) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -25);
    } else if (percent > 15) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -28);
    } else if (percent > 10) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -30);
    } else if (percent > 5) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -34);
    } else if (percent > 3) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -37);
    } else if (percent > 0) {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -40);
    } else {
    (*pcmVolumePlay)->SetVolumeLevel(pcmVolumePlay, (100 - percent) * -100);
    }
    }
    }

语调语速设置

语调语速功能这里用的开源的 SoundTouch ,具体实现如下:

int BaseAudioChannel::setSoundTouchData() {
int num = 0;
while (status && !status->exit) {
if (finished) {
finished = false;
if (this->mBufSize > 0 && this->out_pcm_buffer) {
pthread_mutex_lock(&mutexSpeed);
soundTouch->putSamples(reinterpret_cast<const SAMPLETYPE *>(this->out_pcm_buffer), this->oldSize);
num = soundTouch->receiveSamples(reinterpret_cast<SAMPLETYPE *>(this->out_pcm_buffer),
this->mBufSize / 4);
pthread_mutex_unlock(&mutexSpeed);
} else {
soundTouch->flush();
}
}
if (num == 0) {
finished = true;
continue;
}
return num * 2 * 2;
}

return 0;
}

seek 指定在某个时间段播放

seek 功能直接调取的 FFmpeg API ,操作如下:

void BaseDecodec::seek(int number) {
if (duration <= 0) {
return;
}
if (number >= 0 && number <= number) {
int64_t rel = number * AV_TIME_BASE;
avcodec_flush_buffers(this->avCodecContext);
avformat_seek_file(this->avFormatContext, -1, INT64_MIN, rel, INT64_MAX, 0);
}
}

截取 PCM

截取 PCM 原理其实很简单,比如一段音频的总长为 500s ,我想要截取 300 - 400s 部分,那么我首先 seek(300)作为起点,如果解码帧的时间到了 500 那么就直接退出就 OK 了,是不是很简单。

这里我说下怎么获取时间:

//这是基本的时间单位(以秒为单位)表示其中的帧时间戳。
this->time_base = (*pFormatCtx)->streams[i]->time_base;

//1. 初始化 FFmpeg 读取流 header 信息可以获取
int audioDuration = (*pFormatCtx)->streams[i]->duration / AV_TIME_BASE;

//2. 读取待解码 AVPacket 包获取时间
int readCurAudioTime = avPacket->pts * av_q2d(time_base);

//3. 解码获取时间
int decodeAudioCurTime = avFrame->pts * av_q2d(time_base);

总结

到这里我们的音频处理库就讲解完了,对于音视频感兴趣的可以作为学习资料,因为我本人不喜欢弄 UI ,不然我可以仿照一个 网易云音乐的 UI + 我自己的音频处理库来做一个音频 APP 。当然你可以这样来搞。

如有帮助到你,可以点击一波关注、点赞吗?感谢支持!

更多系列教程GitHub白嫖入口:https://github.com/Timdk857/Android-Architecture-knowledge-2-

资源分享

一线互联网面试专题

379页的Android进阶知识大全

379页的Android进阶知识大全

网上学习 Android的资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

2020年虽然路途坎坷,都在说Android要没落,但是,不要慌,做自己的计划,学自己的习,竞争无处不在,每个行业都是如此。相信自己,没有做不到的,只有想不到的。祝大家2021年万事大吉。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注Android)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

,没有做不到的,只有想不到的。祝大家2021年万事大吉。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注Android)
[外链图片转存中…(img-0Zi0iYKz-1713442926195)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 18
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值