【鸿蒙实战开发】基于OHAudio的音频操作

于 2024-07-23 18:05:24 发布
阅读量561 收藏 20
点赞数 24
分类专栏： 移动开发 HarmonyOS 鸿蒙开发 文章标签： harmonyos 音视频 华为 鸿蒙开发 移动开发 ui 音频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MNXN666/article/details/140642783
版权
移动开发 同时被 3 个专栏收录
169 篇文章 1 订阅
订阅专栏
HarmonyOS
169 篇文章 1 订阅
订阅专栏
鸿蒙开发
169 篇文章 1 订阅
订阅专栏

1：场景描述

场景：基于OHAudio模块实现音频录制和播放功能，带监听音频打断实现使用OH_AudioCapturer接口录制音频生成PCM文件写入到文件保存到沙箱路径，再使用OH_AudioRenderer接口播放音频文件，并监听音频打断

使用的核心API：

AudioCapturer ：音频采集，用于录制PCM音频数据。

AudioRenderer ：音频渲染，用于播放PCM音频数据。

OHAudio： 提供音频模块C接口定义。

2：方案描述

场景一：普通录制和播放实现

Step1：导入audio模块, 引入OHAudio头文件， 提供播放和录制能力的API

Step2：使用OH_AudioCapturer接口录制功能实现

Step3：使用OH_AudioRenderer接口播放功能实现

Step4：监听音频打断实现

场景二：低时延模式录制和低时延播放实现

可以将普通录制和播放切换为低时延录制和低时延播放

效果如下：

场景：普通录制和播放实现

具体步骤如下：

步骤一：导入audio模块, 引入OHAudio头文件， 提供播放和录制能力的API

引入音频库和动态链接库


import { BusinessError } from '@ohos.base';

import audioPlayer from 'libentry.so'

动态链接库audioPlayer里面声明相关函数定义


export const audioCapturerLowLatencyInit: () => void;

export const audioCapturerStart: () => void;

export const audioCapturerPause: () => void;

export const audioCapturerStop: () => void;

export const audioCapturerRelease: () => void;

export const audioRendererInit: () => void;

export const audioRendererLowLatencyInit: () => void;

export const audioRendererStart: () => void;

export const audioRendererPause: () => void;

export const audioRendererStop: () => void;

export const audioRendererRelease: () => void;

export const getRendererState: () => number;

export const getFileState: () => number;

export const getFramesWritten: () => number;

export const getFileSize: () => number;

export const closeFile: () => number;

native侧接口映射，native侧和JS侧方法交互


{

napi_property_descriptor desc[] = {

{"closeFile", nullptr, CloseFile, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioCapturerLowLatencyInit", nullptr, AudioCapturerLowLatencyInit, nullptr, nullptr, nullptr, napi_default,

nullptr},

{"audioCapturerInit", nullptr, AudioCapturerInit, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioCapturerStart", nullptr, AudioCapturerStart, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioCapturerPause", nullptr, AudioCapturerPause, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioCapturerRelease", nullptr, AudioCapturerRelease, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioCapturerStop", nullptr, AudioCapturerStop, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioRendererLowLatencyInit", nullptr, AudioRendererLowLatencyInit, nullptr, nullptr, nullptr, napi_default,

nullptr},

{"audioRendererInit", nullptr, AudioRendererInit, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioRendererStart", nullptr, AudioRendererStart, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioRendererPause", nullptr, AudioRendererPause, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioRendererRelease", nullptr, AudioRendererRelease, nullptr, nullptr, nullptr, napi_default, nullptr},

{"getRendererState", nullptr, GetRendererState, nullptr, nullptr, nullptr, napi_default, nullptr},

{"getFileSize", nullptr, GetFileSize, nullptr, nullptr, nullptr, napi_default, nullptr},

{"getFramesWritten", nullptr, GetFramesWritten, nullptr, nullptr, nullptr, napi_default, nullptr},

{"getFileState", nullptr, GetFileState, nullptr, nullptr, nullptr, napi_default, nullptr},

{"audioRendererStop", nullptr, AudioRendererStop, nullptr, nullptr, nullptr, napi_default, nullptr}};

napi_define_properties(env, exports, sizeof(desc) / sizeof(desc[0]), desc);

return exports;

}

EXTERN_C_END

步骤二：录制实现

Step1：创建录制和播放构造器


static OH_AudioRenderer *audioRenderer;

static OH_AudioStreamBuilder *builder;

static OH_AudioStreamBuilder *rendererBuilder;

Step2：构造录制音频流，设置音频流参数和音频回调函数


{

if (audioCapturer) {

OH_AudioCapturer_Release(audioCapturer);

OH_AudioStreamBuilder_Destroy(builder);

fclose(g_file);

g_file = nullptr;

audioCapturer = nullptr;

builder = nullptr;

}

g_file = fopen(g_filePath.c_str(), "wb");

// create builder

OH_AudioStream_Type type = AUDIOSTREAM_TYPE_CAPTURER;

OH_AudioStreamBuilder_Create(&builder, type);

// set params and callbacks

OH_AudioStreamBuilder_SetSamplingRate(builder, g_samplingRate);

OH_AudioStreamBuilder_SetChannelCount(builder, g_channelCount);

callbacks.OH_AudioCapturer_OnReadData = AudioCapturerOnReadData;

OH_AudioStreamBuilder_SetCapturerCallback(builder, callbacks, nullptr);

// create OH_AudioCapturer

OH_AudioStreamBuilder_GenerateCapturer(builder, &audioCapturer);

return nullptr;

}

// 低时延录制实现只需在普通录制的基础上切换成低时延模式

static napi_value AudioCapturerLowLatencyInit(napi_env env, napi_callback_info info)

{

...

OH_AudioStreamBuilder_SetLatencyMode(builder, (OH_AudioStream_LatencyMode)g_latencyMode);

...

}

Step3：开始录制，暂停录制，停止录制


{

// start

OH_AudioCapturer_Start(audioCapturer);

return nullptr;

}

static napi_value AudioCapturerPause(napi_env env, napi_callback_info info)

{

OH_AudioCapturer_Pause(audioCapturer);

return nullptr;

}

static napi_value AudioCapturerStop(napi_env env, napi_callback_info info)

{

OH_AudioCapturer_Stop(audioCapturer);

return nullptr;

}

Step4：将采集到的音频数据写入文件中


{

size_t count = 1;

if (fwrite(buffer, bufferLen, count, g_file) != count) {

printf("buffer fwrite err");

}

return 0;

}

// 文件路径

static std::string g_filePath = "/data/storage/el2/base/haps/entry/files/oh_test_audio.pcm";

Step5：释放构造器


{

if (audioCapturer) {

OH_AudioCapturer_Release(audioCapturer);

OH_AudioStreamBuilder_Destroy(builder);

audioCapturer = nullptr;

builder = nullptr;

}

return nullptr;

}

步骤三：播放实现

Step1：构造播放音频流，设置音频流参数和音频回调函数


{

if (audioRenderer) {

OH_AudioRenderer_Release(audioRenderer);

OH_AudioStreamBuilder_Destroy(rendererBuilder);

fclose(g_file);

g_file = nullptr;

audioRenderer = nullptr;

rendererBuilder = nullptr;

}

g_file = fopen(g_filePath.c_str(), "rb");

if (g_file == nullptr) {

return 0;

}

// create builder

OH_AudioStream_Type type = AUDIOSTREAM_TYPE_RENDERER;

OH_AudioStreamBuilder_Create(&rendererBuilder, type);

// set params and callbacks

OH_AudioStreamBuilder_SetSamplingRate(rendererBuilder, g_samplingRate);

OH_AudioStreamBuilder_SetChannelCount(rendererBuilder, g_channelCount);

rendererCallbacks.OH_AudioRenderer_OnWriteData = AudioRendererOnWriteData;

OH_AudioStreamBuilder_SetRendererCallback(rendererBuilder, rendererCallbacks, nullptr);

OH_AudioRenderer_Callbacks callbacks;

// 配置回调函数

callbacks.OH_AudioRenderer_OnWriteData = MyOnWriteData;

callbacks.OH_AudioRenderer_OnStreamEvent = MyOnStreamEvent;

callbacks.OH_AudioRenderer_OnInterruptEvent = MyOnInterruptEvent;

callbacks.OH_AudioRenderer_OnError = MyOnError;

OH_AudioStreamBuilder_GenerateRenderer(rendererBuilder, &audioRenderer);

g_readEnd = false;

g_rendererLowLatency = false;

return nullptr;

}

// 低时延播放实现只需在普通播放的基础上切换成低时延模式

static napi_value AudioRendererLowLatencyInit(napi_env env, napi_callback_info info)

{

...

OH_AudioStreamBuilder_SetLatencyMode(rendererBuilder, (OH_AudioStream_LatencyMode)g_latencyMode);

...

}

Step2：读取音频文件进行渲染


{

size_t readCount = fread(buffer, bufferLen, 1, g_file);

if (!readCount) {

if (ferror(g_file)) {

printf("Error reading myfile");

} else if (feof(g_file)) {

OH_AudioRenderer_Stop(audioRenderer);

OH_AudioRenderer_Release(audioRenderer);

OH_AudioStreamBuilder_Destroy(rendererBuilder);

fclose(g_file);

g_file = fopen(g_filePath.c_str(), "rb");

// 1\. create builder

OH_AudioStream_Type type = AUDIOSTREAM_TYPE_RENDERER;

OH_AudioStreamBuilder_Create(&rendererBuilder, type);

// 2\. set params and callbacks

OH_AudioStreamBuilder_SetSamplingRate(rendererBuilder, g_samplingRate);

OH_AudioStreamBuilder_SetChannelCount(rendererBuilder, g_channelCount);

if (g_rendererLowLatency) {

OH_AudioStreamBuilder_SetLatencyMode(rendererBuilder, (OH_AudioStream_LatencyMode)g_latencyMode);

}

rendererCallbacks.OH_AudioRenderer_OnWriteData = AudioRendererOnWriteData;

OH_AudioStreamBuilder_SetRendererCallback(rendererBuilder, rendererCallbacks, nullptr);

// 3\. create OH_AudioRenderer

OH_AudioStreamBuilder_GenerateRenderer(rendererBuilder, &audioRenderer);

g_readEnd = true;

}

}

return 0;

}

Step3：开始播放，暂停播放，停止播放


{

g_readEnd = false;

// start

OH_AudioRenderer_Start(audioRenderer);

return nullptr;

}

static napi_value AudioRendererPause(napi_env env, napi_callback_info info)

{

g_readEnd = false;

OH_AudioRenderer_Pause(audioRenderer);

return nullptr;

}

static napi_value AudioRendererStop(napi_env env, napi_callback_info info)

{

g_readEnd = false;

OH_AudioRenderer_Stop(audioRenderer);

return nullptr;

}

Step4：释放构造器


{

if (audioRenderer) {

OH_AudioRenderer_Release(audioRenderer);

OH_AudioStreamBuilder_Destroy(rendererBuilder);

audioRenderer = nullptr;

rendererBuilder = nullptr;

}

return nullptr;

}

步骤四：OHAudio监听音频打断实现


int32_t MyOnWriteData(OH_AudioRenderer *renderer, void *userData, void *buffer, int32_t length) {

// 将待播放的数据，按length长度写入buffer

if (g_file == nullptr) {

LOGI("MyOnWriteData length fopen");

g_file = fopen(g_filePath.c_str(), "r");

} else if (feof(g_file)) {

LOGI("MyOnWriteData length fseek");

fseek(g_file, 0, SEEK_SET);

}

LOGI("MyOnWriteData length %{public}d", length);

size_t readCount = fread(buffer, length, 1, g_file);

return 0;

}

// 自定义音频流事件函数

int32_t MyOnStreamEvent(OH_AudioRenderer *renderer, void *userData, OH_AudioStream_Event event) {

// 根据event表示的音频流事件信息，更新播放器状态和界面

LOGI("MyOnStreamEvent");

return 0;

}

// 自定义音频中断事件函数

int32_t MyOnInterruptEvent(OH_AudioRenderer *renderer, void *userData, OH_AudioInterrupt_ForceType type,

OH_AudioInterrupt_Hint hint) {

// 根据type和hint表示的音频中断信息，更新播放器状态和界面

LOGI("MyOnInterruptEvent ForceType: %{public}d, Hint: %{public}d", type, hint);

switch (hint) {

case AUDIOSTREAM_INTERRUPT_HINT_NONE:

break;

case AUDIOSTREAM_INTERRUPT_HINT_RESUME:

OH_AudioRenderer_Start(audioRenderer);

break;

case AUDIOSTREAM_INTERRUPT_HINT_PAUSE:

OH_AudioRenderer_Pause(audioRenderer);

break;

case AUDIOSTREAM_INTERRUPT_HINT_STOP:

OH_AudioRenderer_Stop(audioRenderer);

break;

case AUDIOSTREAM_INTERRUPT_HINT_DUCK:

break;

case AUDIOSTREAM_INTERRUPT_HINT_UNDUCK:

break;

default:

LOGI("无法识别中断事件");

}

return 0;

}

// 自定义异常回调函数

int32_t MyOnError(OH_AudioRenderer *renderer, void *userData, OH_AudioStream_Result error) {

// 根据error表示的音频异常信息，做出相应的处理

LOGI("MyOnError");

return 0;

}

鸿蒙全栈开发全新学习指南

有很多小伙伴不知道学习哪些鸿蒙开发技术？不知道需要重点掌握哪些鸿蒙应用开发知识点？而且学习时频繁踩坑，最终浪费大量时间。所以要有一份实用的鸿蒙（HarmonyOS NEXT）学习路线与学习文档用来跟着学习是非常有必要的。

针对一些列因素，整理了一套纯血版鸿蒙（HarmonyOS Next）全栈开发技术的学习路线，包含了鸿蒙开发必掌握的核心知识要点，内容有（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、WebGL、元服务、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、OpenHarmony驱动开发、系统定制移植等等）鸿蒙（HarmonyOS NEXT）技术知识点。

本路线共分为四个阶段：

第一阶段：鸿蒙初中级开发必备技能

在这里插入图片描述

第二阶段：鸿蒙南北双向高工技能基础：gitee.com/MNxiaona/733GH

在这里插入图片描述

第三阶段：应用开发中高级就业技术

第四阶段：全网首发-工业级南向设备开发就业技术：gitee.com/MNxiaona/733GH

在这里插入图片描述

《鸿蒙 (Harmony OS)开发学习手册》（共计892页）

如何快速入门？

1.基本概念
2.构建第一个ArkTS应用
3.……

开发基础知识:gitee.com/MNxiaona/733GH

1.应用基础知识
2.配置文件
3.应用数据管理
4.应用安全管理
5.应用隐私保护
6.三方应用调用管控机制
7.资源分类与访问
8.学习ArkTS语言
9.……

在这里插入图片描述

基于ArkTS 开发

1.Ability开发
2.UI开发
3.公共事件与通知
4.窗口管理
5.媒体
6.安全
7.网络与链接
8.电话服务
9.数据管理
10.后台任务(Background Task)管理
11.设备管理
12.设备使用信息统计
13.DFX
14.国际化开发
15.折叠屏系列
16.……

在这里插入图片描述

鸿蒙开发面试真题（含参考答案）:gitee.com/MNxiaona/733GH

在这里插入图片描述

鸿蒙入门教学视频：

美团APP实战开发教学：gitee.com/MNxiaona/733GH

写在最后

  • 如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：
  • 点赞，转发，有你们的 『点赞和评论』，才是我创造的动力。
  • 关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
  • 想要获取更多完整鸿蒙最新学习资源，请移步前往小编：gitee.com/MNxiaona/733GH

码小林
关注
  • 24
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HarmonyOS 2.0鸿蒙应用开发实战教程视频教程
06-16
HarmonyOS 2.0是华为推出的面向全场景的分布式操作系统，旨在打破设备间的界限，提供无缝的用户体验。作为一款开放源码的操作系统，它为开发者提供了丰富的工具和平台，以便构建跨平台、多设备的应用程序。本教程将...
基于鸿蒙框架开发系统的生鲜app.zip
01-20
鸿蒙操作系统（HarmonyOS）是华为公司推出的一款面向全场景的分布式操作系统，旨在提供跨设备、无缝协同的用户体验。它采用了微内核设计，支持多种硬件平台，包括手机、电视、智能手表、车载设备等。在本项目中，...
基于OHAudio的音频操作
hongxiaomeng的博客
06-21 262
鸿蒙HarmonyOS开发实战：【分布式音乐播放】
m0_70748845的博客
04-10 2076
本示例使用fileIo获取指定音频文件，并通过AudioPlayer完成了音乐的播放完成了基本的音乐播放、暂停、上一曲、下一曲功能；并使用DeviceManager完成了分布式设备列表的显示和分布式能力完成了音乐播放状态的跨设备分享。本示例用到了与用户进行交互的Ability的能力接口[@ohos.ability.featureAbility]文件存储管理能力接口[@ohos.fileio]屏幕属性接口[@ohos.display]媒体查询接口[@ohos.mediaquery]
【Java】字节数组 pcm 与 wav 格式互转 （附原理概述）
最新发布
chenghan_yang的博客
06-22 491
最近实现了一个文字转语音的功能，语音引擎返回的是pcm格式的数据。需要转化成wav格式前端才能播放。本文首先会给出解决方案，后续会讲背后的原理。场景wav格式实际上就是在pcm数据上加了头部，让浏览器能够解析pcm数据，进而能播放音频。可以类比 TCP协议的报文头，报文头携带了数据长度、偏移量等元信息。
鸿蒙应用开发中如何播放MP3音频资源(一个简单的播放器）
qq_56520412的博客
05-21 826
建议直接将源码copy下来跑一下，看看效果
鸿蒙应用与开发-如何在应用中播放音频文件
weixin_48952056的博客
05-12 1100
在鸿蒙应用开发中会设计到很多实用音频的效果，这个小案例主要介绍在鸿蒙用ArkTS中的AVPlayer 对象实例来播放音频，并根据播放状态做出相应的处理。
刚刚，鸿蒙 OS 2.0 发布！HarmonyOS 将正式开源！
热门推荐
音视频开发进阶
09-11 1万+
HarmonyOS 将正式开源，开发者将获得模拟器、SDK 包以及 IDE 工具。”来源：雷锋网，作者 | 李帅飞华为手机正式确定要采用鸿蒙 OS（Harmony OS）了！9 月 10...
基于HarmonyOS 4开发的一款刷题的鸿蒙APP源代码
05-04
在本项目中，我们主要关注的是基于HarmonyOS 4构建的一款刷题应用程序的源代码。...同时，它也是一个很好的学习案例，可以帮助开发者快速上手HarmonyOS应用的开发，提高编程技能，适应鸿蒙生态的开发环境。
最新鸿蒙HarmonyOS开发文档汇总.zip
08-03
HarmonyOS开发文档（二）； HarmonyOS开发文档（一）； HarmonyOS入门文档； HarmonyOS设备应用开发文档； HarmonyOS应用设计文档； HarmonyOS智慧屏设计文档； HarmonyOS智能穿戴应用设计文档； Huawei DevEco ...
华为鸿蒙HarmonyOS开发整理资料汇总.zip
11-25
华为鸿蒙HarmonyOS开发整理资料汇总，共38份。 1学前必读：HarmonyOS学习资源主题分享 2学前必读：OpenHarmony-联盟生态资料合集 3-1.HarmonyOS概述：技术特性 3-2.HarmonyOS概述：开发工具与平台 3-3.HarmonyOS...
鸿蒙---使用AudioCapturer录制音频
qq_45774739的博客
05-28 980
AudioCapturer是一种音频采集器，用来录制PCM音频数据。因为AudioCapturer允许开发者直接直接操作音频数据，使开发者能够自由地控制包括采样率、位深度、声道数等关键参数。
【HarmonyOS】鸿蒙应用实现音效播放
我的小窝
06-05 637
鸿蒙应用实现音效播放
HarmonyOS实战开发-录音机、如何实现音频录制和播放的功能
m0_70749039的博客
04-12 2003
本示例使用audio相关接口实现音频录制和播放的功能，使用mediaLibrary实现音频文件的管理。
Harmony鸿蒙南向外设驱动开发-Audio
m0_64420071的博客
04-12 1183
本文主要介绍基于HDF（Hardware Driver Foundation）驱动框架开发的Audio驱动，包括Audio驱动的架构组成和功能部件
音频设备模块（ADM）
aggs1990的专栏
04-10 634
​ADM负责驱动WebRTC中的输入（麦克风）和输出（扬声器）音频，API在audio_device.h中定义。and/sdk/and/sdk/and​ADM实现位于WebRTC存储库中的两个不同位置：/modules/audio_device/和/sdk/。iOS和Android的最新实现可以在/sdk/./modules/audio_device/下找到，其中包含移动平台的旧版本，也包括Linux、Windows和Mac OSX等桌面平台的实现。
HarmonyOS 音频开发指导：使用 AudioRenderer 开发音频播放功能
HarmonyOSDev的博客
10-23 1135
AudioRenderer 是音频渲染器，用于播放 PCM（Pulse Code Modulation）音频数据，相比 AVPlayer 而言，可以在输入前添加数据预处理，更适合有音频开发经验的开发者，以实现更灵活的播放功能。
鸿蒙开发之使用OH_AudioRenderer实现音频播放和暂停
qq_14863717的博客
06-08 315
通过上述步骤，开发者可以有效地使用OH_AudioRenderer来实现音频播放和暂停的功能。这些步骤包括初始化渲染器、设置回调、控制播放和暂停，以及清理资源。确保在实际开发中处理所有可能的错误情况，并根据需要调整代码。
HarmonyOS实战开发-如何实现音频低时延录制和播放，AudioVivid音乐播放相关功能
2401_82546228的博客
05-11 597
本示例主要展示了音频低时延录制和播放，AudioVivid音乐播放的相关功能：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值