OpenSLES播放PCM音频数据

最新推荐文章于 2024-04-08 10:18:00 发布
最新推荐文章于 2024-04-08 10:18:00 发布
阅读量846 收藏 3
点赞数 1
分类专栏： FFmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/start_mao/article/details/108690959
版权

如何在项目中引入OpenSL ES

在android ndk相关目录下已经引入了opensles.so。
在这里插入图片描述
因此可以在 CMakeList.txt中加入 直接使用。

cmake_minimum_required(VERSION 3.4.1)

add_library(
        native-lib
        SHARED
        native-lib.cpp)

target_link_libraries(
        android
        native-lib
        log
        OpenSLES)

Objects 和 Interfaces

OpenSL ES 有两个必须理解的概念，就是 Object (对象)和 Interface(接口) ：

  • 对象是一组功能的抽象，每个对象都包含了许多的接口，由这些接口提供具体的功能。

  • 每个 Object 对象都提供了一些最基础的操作，比如：Realize，Resume，GetState，Destroy 等等，如果希望使用该对象支持的功能函数，则通过其 GetInterface 函数拿到 接口，然后通过接口来访问具体功能。

在 “OpenSLES.h” 文件可以看到 OpenSL ES 定义的所有 Object 对象的 ID，通过这些Object ID 来创建对应的对象实例。

/* Objects ID's */

#define SL_OBJECTID_ENGINE			((SLuint32) 0x00001001)
#define SL_OBJECTID_LEDDEVICE		((SLuint32) 0x00001002)
#define SL_OBJECTID_VIBRADEVICE		((SLuint32) 0x00001003)
#define SL_OBJECTID_AUDIOPLAYER		((SLuint32) 0x00001004)
#define SL_OBJECTID_AUDIORECORDER	((SLuint32) 0x00001005)
#define SL_OBJECTID_MIDIPLAYER		((SLuint32) 0x00001006)
#define SL_OBJECTID_LISTENER		((SLuint32) 0x00001007)
#define SL_OBJECTID_3DGROUP			((SLuint32) 0x00001008)
#define SL_OBJECTID_OUTPUTMIX		((SLuint32) 0x00001009)
#define SL_OBJECTID_METADATAEXTRACTOR	((SLuint32) 0x0000100A)

同样，“OpenSLES.h” 文件中还定义了所有的 Interface ID，通过 Interface ID 可以从对象中获取到对应的功能接口。

/* Standard Object Interface */
extern SL_API const SLInterfaceID SL_IID_OBJECT;
/** Output Mix Interface */
extern SL_API const SLInterfaceID SL_IID_OUTPUTMIX;
extern SL_API const SLInterfaceID SL_IID_PLAY;
/**Buffer Queue Interface*/
extern SL_API const SLInterfaceID SL_IID_BUFFERQUEUE;
extern SL_API const SLInterfaceID SL_IID_ENVIRONMENTALREVERB;
/** Engine Interface*/
extern SL_API const SLInterfaceID SL_IID_ENGINE;
//....只列出部分

OpenSL ES 的状态机制

在这里插入图片描述

任何一个 OpenSL ES 的对象，创建成功后，都进入 SL_OBJECT_STATE_UNREALIZED 状态，这种状态下，系统不会为它分配任何资源。

调用Realize 后的对象, 会分配相关的资源，进入 SL_OBJECT_STATE_REALIZED 状态，这是一种“可用”的状态，只有在这种状态下，对象的各个功能才能正常地访问。

当一些系统事件发生后，比如出现错误或者 Audio 设备被其他应用抢占，OpenSL ES 对象会进入 SL_OBJECT_STATE_SUSPENDED 状态， 调用Resume()可以恢复到 SL_OBJECT_STATE_REALIZED 状态。

当调用对象的 Destroy 函数后，则会释放资源，回到 SL_OBJECT_STATE_UNREALIZED 状态。

Engine Object

OpenSL ES 里面最核心的对象就是：Engine Object（音频引擎对象），它主要提供如下功能：

  • 提供引擎接口: SLEngineItf，该接口可以用来创建所有其他的 Object 对象

Engine Objec创建 &初始化

SLObjectItf engineObject;
 slCreateEngine(&engineObject,0, NULL, 0, NULL, NULL);
(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);

获取SLEngineItf接口，获取后 就可以使用 engineEngine 来创建 OpenSL ES 的其他对象了。

SLEngineItf engineEngine;
(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &(engineEngine));

最后不用了就销毁

(*engineObject)->Destroy(engineObject);

使用流程

  • 1、获取引擎接口
  • 2、创建输出混音器
  • 3、创建播放器，并获取播放接口
  • 4、获取缓冲队列接口并给缓冲队列注册回调函数
  • 5、设置播放状态、手动调用回调函数

1、获取引擎接口

slCreateEngine(&engineObject,0, NULL, 0, NULL, NULL);
(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);
(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine);

获取引擎接口至关重要，后面所有的对象都是通过引擎接口创建的。

OpenSLES接口的获取都是遵循这三步，先创建对象、再初始化对象、最后通过接口id从对象获取对应功能的接口。最后不用的时候可以调用对象的Destroy函数进行销毁。

2、创建输出混音器

const SLInterfaceID ids[1] = {SL_IID_ENVIRONMENTALREVERB};
    const SLboolean req[1] = {SL_BOOLEAN_FALSE};
    (*engineEngine)->CreateOutputMix(engineEngine, &outputMixObject, 1, ids, req);
    (*outputMixObject)->Realize(outputMixObject, SL_BOOLEAN_FALSE);
    sLresult=(*outputMixObject)->GetInterface(outputMixObject,
    SL_IID_ENVIRONMENTALREVERB,&outputMixEnvironmentalReverb);
    if (sLresult==SL_RESULT_SUCCESS){
        (*outputMixEnvironmentalReverb)->SetEnvironmentalReverbProperties(
                outputMixEnvironmentalReverb, &reverbSettings);
        (void)sLresult;
    }

3、创建播放器并获取播放接口：创建播放器还需要为播放器指定Data Source 和 Data Sink 。

  • data source 代表着输入源的信息，即数据从哪儿来、输入的数据格式是怎样的。
  • data sink 代表着输出的信息，即数据输出到哪儿、以什么样的方式输出。

data source和data sink的结构体如下：

//data source
typedef struct SLDataSource_ {
	void *pLocator;
	void *pFormat;
} SLDataSource;
//data sink
typedef struct SLDataSink_ {
	void *pLocator;
	void *pFormat;
} SLDataSink;

对于pLocator来说，通常有下面这些常用值:

#define SL_DATALOCATOR_URI			((SLuint32) 0x00000001)//数据源是URI
#define SL_DATALOCATOR_ANDROIDFD    ((SLuint32) 0x800007BC)//数据源通常是asset文件
#define SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE ((SLuint32) 0x800007BD)//数据源是缓冲队列
#define SL_DATALOCATOR_OUTPUTMIX	((SLuint32) 0x00000004)//输出到混音器
//....

//配置DataSource
 SLDataLocator_AndroidSimpleBufferQueue loc_bufq={
            SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE,//从缓存队列获取数据
            2
    };
  //tips:数据源除了指定缓冲队列外，还有本地文件、URI
  SLDataFormat_PCM format_pcm={
            SL_DATAFORMAT_PCM,//是pcm格式的
            2,//两声道
            SL_SAMPLINGRATE_44_1,//每秒的采样率
            SL_PCMSAMPLEFORMAT_FIXED_16,//每个采样的位数
            SL_PCMSAMPLEFORMAT_FIXED_16,//和位数一样就行
            SL_SPEAKER_FRONT_LEFT|SL_SPEAKER_FRONT_RIGHT,//立体声(左前和右前)
            SL_BYTEORDER_LITTLEENDIAN,//播放结束的标志
    };
  SLDataSource dataSource={&loc_bufq,&format_pcm};
  //配置DataSink，指定输出到输出混音器
  SLDataLocator_OutputMix loc_outmix={SL_DATALOCATOR_OUTPUTMIX,outputMixObject};
  SLDataSink dataSink={&loc_outmix,NULL};
  //创建音频播放器对象
  const SLInterfaceID iids[3] = {SL_IID_BUFFERQUEUE, SL_IID_EFFECTSEND, SL_IID_VOLUME};
  const SLboolean ireq[3] = {SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE};
  (*engineEngine)->CreateAudioPlayer(engineEngine,&playerObject,
  		&dataSource,&dataSink,3,iids,ireq);
  (*playerObject)->Realize(playerObject,SL_BOOLEAN_FALSE);
   //获取播放接口
  (*playerObject)->GetInterface(playerObject,SL_IID_PLAY,&player);

4、获取缓冲队列接口并给缓冲队列注册回调函数

 (*playerObject)->GetInterface(playerObject,SL_IID_BUFFERQUEUE,&bufferQueueItf);
 (*bufferQueueItf)->RegisterCallback(bufferQueueItf,bufferQueueCallable,NULL);

5、设置播放状态、手动调用回调函数

 (*player)->SetPlayState(player,SL_PLAYSTATE_PLAYING);
 bufferQueueCallable(bufferQueueItf,NULL);

当设置了播放器为播放状态，该音频播放器开始等待缓存取队列就绪。
回调函数如下：

void bufferQueueCallable(SLAndroidSimpleBufferQueueItf caller,void *pContext){
    size_t len=getPcmData(&pcmData);
    if(pcmData&&len!=-1){
        (*bufferQueueItf)->Enqueue(bufferQueueItf,pcmData,len);
    } else{
        LOGD("读取结束");
        if(file!=NULL){
            fclose(file);
            file=NULL;
        }
    }
}

第一次我们手动调用了回调函数，然后会通过Enqueue函数将数据入队，接着播放器会从缓冲队列中取出数据进行播放，每次缓冲队列数据播放完成都会调用回调函数，回调又接着往缓冲队列中放入数据。

最后在适当的时候释放所有资源：

  if (playerObject!=NULL){
        (*playerObject)->Destroy(playerObject);
        playerObject=NULL;
        bufferQueueItf=NULL;
    }

    if (outputMixObject!=NULL){
        (*outputMixObject)->Destroy(outputMixObject);
        outputMixObject=NULL;
        outputMixEnvironmentalReverb=NULL;
    }

    if (engineObject!=NULL){
        (*engineObject)->Destroy(engineObject);
        engineObject=NULL;
        engineEngine=NULL;
    }

    if(buff!=NULL){
        free(buff);
        buff=NULL;
    }

源码地址：
github

参考资料：
谷歌ndk案例
参考博客

maove
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
FFmpeg从入门到入魔(4)：OpenSL ES播放PCM音频
irainsa的博客
11-03 1195
虽然OpenSL ES是基于C语言开发，但是它的实现思想是基于面向对象的，与FFmpeg框架提供一系列的函数接口不同，OpenSL ES是以Interface的方式来提供API，即除了slCreateEngine这个函数用来创建声音引擎对象接口之外，其他所有的操作都是通过调用接口的成员函数完成的，这与JNI非常相似。4.停止解码，释放资源。Object和Interface是OpenSL ES库的两个非常重要的概念，OpenSL ES的整个框架就是基于这两个概念构成的，后续对该库的使用也是基于此来实现。
Android音乐播放器-使用FFmpeg及OpenSLES
yinshipin007的博客
05-09 281
在之前的文章《解码音频代码》中，已经实现了使用FFmpeg解码音频为PCM。这次我们利用FFmpeg以及OpenSLES来实现一个简单的音乐播放器。
NDK Android平台openSLES音频采集和播放
u010140427的博客
02-05 1371
Android平台下使用OpenSlES实现音频采集和播放
【音视频安卓开发 （八）】OpenSLES播放音频步骤和接口讲解
用可见的方式来记录和分享每一次收获
09-23 824
OpenSLES是安卓内部的音频播放和录音 初始化引擎 创建输出设备 配置PCM格式信息 初始化播放器 播放和缓冲队列
Android音视频【十二】使用opensles和audiotrack进行播放pcm
顾修忠的博客
04-24 2087
人间观察 年龄到了，有些事就妥协了，这个世界上没有人可以随心所欲，生活会逼着你选择答案……最困难的是你什么都改变不了…… 介绍 播放pcm的两种方式 本节我们学习下如何播放pcm数据，在Android中有两种方法：一种是使用java层的AudioTrack方法，一种是使用底层的OpenSLES直接在jni层调用系统的OpenSLES的c方法实现。 使用场景 两种使用场景不一样： AudioTrack 一般用于 比如本地播放一个pcm文件/流，又或者播放解码后的音频的pcm流，API较简单。 OpenSL
OpenSLES播放PCM音频
06-08
OpenSLES播放PCM音频Demo，代码详细，注释明了，想学习的请参考我的博客：https://blog.csdn.net/xuyankuanrong/article/details/80472067
ios播放pcm音频数据
08-22
在iOS平台上，播放PCM（脉冲编码调制）音频数据是一项常见的任务，特别是在开发音乐应用或者需要实时处理音频的应用中。PCM是数字音频的基本表示形式，它直接编码模拟信号的样值。本篇将深入探讨如何在iOS中利用...
使用WindowsAPI实现播放PCM音频的方法
09-04
`waveOutPrepareHeader`函数用于将音频数据打包成WAVEHDR结构，并将其与设备关联，确保设备能够正确地读取和播放数据。 5. **waveOutWrite**：这是实际开始播放音频的函数。将填充好的缓冲区传递给`waveOutWrite`，...
测试用的pcm音频数据
07-07
一个PCM音频数据，格式是S16，44100Hz，2channels。
audiotrack播放PCM音频数据的例子
12-26
一个使用audiotrack播放PCM音频数据的DEMO，上传的代码工程中有个音频数据文件夹，包含了用于测试的PCM数据文件，详情请看readme.txt;另外代码附详细说明，走过路过的都不要错过了，喜欢就顶下吧
Android OpenSL ES 对象结构
tq08g2z的专栏
11-10 458
OpenSL ES 是 Khronos Group 为嵌入式系统开发的调优的免版权费、跨平台、硬件加速的音频 API 规范。Android 提供了这一 API 规范的 Android 专有实现，并允许应用程序通过 NDK 调用这些 API。Android 应用可以借助这一 API，使用 C 或 C++ 实现高性能、低延迟的音频。OpenSL ES™ 标准与 Android Java 框架中的 MediaPlayer 和 MediaRecorderAPI 提供类似的音频
Android NDK开发详解高性能音频之OpenSL ES for Android
hnjzfwy的博客
11-20 157
原生开发套件 (NDK) 是一套工具，使您能够在 Android 应用中使用 C 和 C++ 代码，并提供众多平台库，您可使用这些平台库管理原生 activity 和访问实体设备组件，例如传感器和触控输入。NDK 可能不适合大多数 Android 编程初学者，这些初学者只需使用 Java 代码和框架 API 开发应用
Android NDK开发详解高性能音频之使用OpenSL ES
hnjzfwy的博客
11-20 153
原生开发套件 (NDK) 是一套工具，使您能够在 Android 应用中使用 C 和 C++ 代码，并提供众多平台库，您可使用这些平台库管理原生 activity 和访问实体设备组件，例如传感器和触控输入。NDK 可能不适合大多数 Android 编程初学者，这些初学者只需使用 Java 代码和框架 API 开发应用
Android-音视频学习系列-(十)基于-FFmpeg-+-OpenSLES-实现音频万能播放器(1)
最新发布
2401_84123026的博客
04-08 1069
写到这里也结束了，在文章最后放上一个小小的福利，以下为小编自己在学习过程中整理出的一个关于Flutter的学习思路及方向，从事互联网开发，最主要的是要学好技术，而学习技术是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯，更加需要准确的学习方向达到有效的学习效果。由于内容较多就只放上一个大概的大纲，需要更及详细的学习思维导图的。
OpenSLES
m0_37706089的博客
07-03 118
结构体 SLObjectItf_ 里面全是函数指针SLresult(* GetInterface)(SLObjectItf self , const SLInterfaceID iid , //获取的结构功能id void * pInterface //存储接口功能的对象，即接口对象);结构体 SLEngineItf_ 里面全是函数指针。
Android使用OpenSLES播放与录音
highersister的博客
07-15 640
Android使用OpenSLES播放与录音
FFmpeg_Android音频播放demo--openSLES方式
分享音视频技术
06-10 1155
在前面一篇文章中，我们讲解了audioTrack方式播放音频，本文使用openSLES方式来播放FFmpeg解码后的音频数据。
Android 音频 Native API OpenSL ES 简要介绍
热门推荐
刘海涛的专栏
11-19 1万+
OpenSL ES 全称 (Open Sound Library for Embedded Systems)，嵌入式音频加速标准。         OpenSL ES 是无授权费、跨平台、针对嵌入式系统精心优化的硬件音频加速API。它为嵌入式移动多媒体设备上的本地应用程序开发者提供标准化, 高性能,低响应时间的音频功能实现方法，并实现软/硬件音频性能的直接跨平台部署，降低执行难度，促进高级音频市
Android-音视频学习系列-(十)基于-FFmpeg-+-OpenSLES-实现音频万能播放器
m0_64604042的博客
12-13 969
粗略架构组成: kotlin: Kotlin 语言是由 JetBrains 公司开发，2010 面世，2017 年正式在谷歌 I/O 大会上推荐 Kotlin 作为 Android 开发语言。 FFmpeg: FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。 SoundTouch: 可以在 PCM 音频裸流基础上对音频变调变速 OpenSLES: OpenSL ES（嵌入式系统的开放声音库.
windows下 java播放 pcm音频流
10-29
在Windows下，可以使用Java内置的javax.sound.sampled包来播放PCM音频流。以下是一个简单的示例代码： ```java import javax.sound.sampled.*; public class PCMPlayer { private AudioFormat audioFormat; private SourceDataLine sourceDataLine; public PCMPlayer() { // 创建默认的音频格式 audioFormat = new AudioFormat(AudioFormat.Encoding.PCM_SIGNED, 44100, 16, 2, 4, 44100, false); } public void play(byte[] pcmData) { try { // 打开音频输出设备，创建音频数据行 sourceDataLine = AudioSystem.getSourceDataLine(audioFormat); sourceDataLine.open(audioFormat); sourceDataLine.start(); // 写入音频数据 sourceDataLine.write(pcmData, 0, pcmData.length); // 等待音频数据播放完毕 sourceDataLine.drain(); } catch (Exception e) { e.printStackTrace(); } finally { // 关闭音频数据行 if (sourceDataLine != null) { sourceDataLine.stop(); sourceDataLine.close(); } } } } ``` 可以通过创建一个PCMPlayer对象，并调用play方法来播放PCM音频流。其中，pcmData是一个byte数组，包含了PCM音频数据。 需要注意的是，这是一个简单的示例，实际使用时可能需要处理音频的采样率、位深度等参数，以及异常处理和资源释放等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值