【鸿蒙南向开发】OpenHarmony 源码解析之多媒体子系统(音频框架一)

最新推荐文章于 2024-08-05 14:31:57 发布
最新推荐文章于 2024-08-05 14:31:57 发布
阅读量600 收藏 12
点赞数 18
分类专栏： 安卓 前端 鸿蒙 文章标签： harmonyos 音视频 华为 鸿蒙 前端 安卓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HarmonyOS_666/article/details/140897713
版权
前端 同时被 3 个专栏收录
199 篇文章 0 订阅
订阅专栏
鸿蒙
199 篇文章 8 订阅
订阅专栏
安卓
198 篇文章 0 订阅
订阅专栏

前言

音频采集是多媒体系统中最基础最重要的部分之一，OpenHarmony audio_lite 框架有着丰富的音频采集功能，支持麦克风、电话、摄像机等多种音频输入源设备，支持PCM、AAC_LC、AAC_HE_V1等多种编解码格式，支持闹钟、音乐、铃声等多种音频流类型以及满足不同品质的音频数据需求。

1.2 OpenHarmony架构图

image.png

1.3 架构图

image.png

1.4 文件目录

~/foundation/multimedia/audio_lite$ tree
├── frameworks	# 框架代码
│   ├── audio_capturer.cpp	# 音频采集
│   ├── audio_capturer_impl.cpp
│   ├── audio_capturer_impl.h
│   ├── audio_encoder	# 音频编解码
│   │   ├── audio_encoder.cpp
│   │   └── include
│   │       └── audio_encoder.h
│   └── audio_source	# 音频输入源
│       ├── audio_source.cpp
│       └── include
│           └── audio_source.h
└── interfaces	# 接口
    └── kits	# 对外接口
        └── audio_capturer.h

2 环境准备

2.1 开发环境、编译环境搭建

参考官方文档，参考链接如下：搭建Ubuntu环境(获取源码及编译，Docker方式)

3 音频采集

image.png

3.1 音频信息采集流程

  • 初始化

    通过AudioCapturer调用AudioCapturerImpl中的SetCapturerInfo方法，初始化采集状态，获取适配输入源类型的设备，配置并初始化输入源，编解码等

int32_t AudioCapturer::AudioCapturerImpl::SetCapturerInfo(const AudioCapturerInfo info)
{
    ...

    // 判断采集状态初始化
    if (status_ != INITIALIZED) {
        MEDIA_ERR_LOG("check state:%u failed", status_);
        return ERR_ILLEGAL_STATE;
    }

    // 获取设备
    std::vector<AudioDeviceDesc> devices;
    int32_t ret = audioSource_->EnumDeviceBySourceType(info.inputSource, devices);

    ...

    // 配置输入源参数并初始化
    AudioSourceConfig sourceConfig;
    sourceConfig.deviceId = devices[0].deviceId;
    ...  
    ret = audioSource_->Initialize(sourceConfig);

    ...

    // 配置编解码参数并初始化   
    AudioEncodeConfig encodeConfig;
    encodeConfig.audioFormat = info.audioFormat;
    ...
    ret = audioEncoder_->Initialize(encodeConfig);

    ...

    return SUCCESS;
}

  • 开始音频采集

    调用AudioCapturerImpl中的Record方法检查采集状态，开始采集音频，绑定音频源到当前设备并开始编解码

bool AudioCapturer::AudioCapturerImpl::Record()
{
    ...

    // 开始采集音频源    
    int32_t ret = audioSource_->Start();

    ...

    // 获取当前设备Id
    ret = audioSource_->GetCurrentDeviceId(deviceId);

    ...

    // 绑定音频源到当前设备
    ret = audioEncoder_->BindSource(deviceId);

	...

    // 开始编解码
    ret = audioEncoder_->Start();

    ...

    return true;
}

  • 获取音频数据

    在满足采集状态等的条件下，通过传出参数buffer获取音频数据，如果编解码格式为“PCM”或者是缺省值，则直接获取音频数据，否则进行编解码获取音频数据

int32_t AudioCapturer::AudioCapturerImpl::Read(uint8_t *buffer, size_t userSize, bool isBlockingRead)
{
	...

    // 音频帧方式
    if (info_.audioFormat == PCM || info_.audioFormat == AUDIO_DEFAULT) {
        AudioFrame frame;

        ...

        readLen = audioSource_->ReadFrame(frame, isBlockingRead);

		...

    } else {	//音频流方式
        AudioStream stream;

        ...

        readLen = audioEncoder_->ReadStream(stream, isBlockingRead);

      	...

    }
    return readLen;
}

3.2 音频相关结构体

// audio_capturer.h
// 音频采集信息
struct AudioCapturerInfo {
    AudioSourceType inputSource = AUDIO_MIC;	// 音频源类型
    AudioCodecFormat audioFormat = AUDIO_DEFAULT;	// 编解码格式
    int32_t sampleRate = 0;	// 采样率
    int32_t channelCount = 0;	// 通道数
    int32_t bitRate = 0;	// 码率
    AudioStreamType streamType = TYPE_MEDIA;	// 音频流类型
    AudioBitWidth bitWidth = BIT_WIDTH_16;	// 采样位宽
};

// 采集状态
enum State : uint32_t {
    INITIALIZED,	// 初始化
    PREPARED,	// 准备
    RECORDING,	// 采集中
    STOPPED,	// 停止
    RELEASED	// 销毁
};

// audio_encoder.h
// 音频编解码配置
struct AudioEncodeConfig {
    AudioCodecFormat audioFormat;//音频格式
    uint32_t bitRate = 0;//码率
    uint32_t sampleRate = 0;//采样率
    uint32_t channelCount = 0;//通道数量
    AudioBitWidth bitWidth = BIT_WIDTH_16;//采样位宽
};

// audio_source.h
struct AudioSourceConfig {
    uint32_t deviceId;//设备Id
    AudioCodecFormat audioFormat;//音频格式
    int32_t sampleRate = 0;//采样率
    int32_t channelCount = 0;//通道数量
    bool interleaved;
    AudioBitWidth bitWidth = BIT_WIDTH_16;//音频位宽
    AudioStreamType streamUsage;//音频流类型
};

// ~/foundation/multimedia/utils/lite/interfaces/kits/media_info.h
// 音频输入源类型
typedef enum {
    AUDIO_SOURCE_INVALID = -1,	// 无效的音频源
    AUDIO_SOURCE_DEFAULT = 0,	// 默认的音频源
    AUDIO_MIC = 1,	// 麦克风
    AUDIO_VOICE_UPLINK = 2,	// 电话上行
    AUDIO_VOICE_DOWNLINK = 3,	// 电话下行
    AUDIO_VOICE_CALL = 4,	// 电话含上下行
    AUDIO_CAMCORDER = 5,	// 摄像机音频源
    AUDIO_VOICE_RECOGNITION = 6,	// 语音识别
    AUDIO_VOICE_COMMUNICATION = 7,	// 电话通信
    AUDIO_REMOTE_SUBMIX = 8,	// 远程设备输入音频源
    AUDIO_UNPROCESSED = 9,	// 未被处理的音频源
    AUDIO_VOICE_PERFORMANCE = 10,	// 声乐
    AUDIO_ECHO_REFERENCE = 1997,	// 回声
    AUDIO_RADIO_TUNER = 1998,	// 广播调谐器
    AUDIO_HOTWORD = 1999,
    AUDIO_REMOTE_SUBMIX_EXTEND = 10007,	// 扩展的远程设备输入音频源
} AudioSourceType;

// 音频设备描述
typedef struct {
    std::string deviceName;	// 设备名称
    AudioSourceType inputSourceType;	// 音频输入源的类型
    uint32_t deviceId;	// 31-24位:保留位; bits 23-16:模式ID; 15-8:设备ID; 7-0:通道ID  
} AudioDeviceDesc;

// 音频流类型
typedef enum {
    TYPE_DEFAULT = -1,	// 默认类型
    TYPE_MEDIA = 0,	// 媒体
    TYPE_VOICE_COMMUNICATION = 1,	// 语音电话
    TYPE_SYSTEM = 2,	// 系统声音
    TYPE_RING = 3,	// 手机铃声
    TYPE_MUSIC = 4,	// 音乐
    TYPE_ALARM = 5,	// 闹钟
    TYPE_NOTIFICATION = 6,	// 通知声音
    TYPE_BLUETOOTH_SCO = 7,	// 蓝牙同步面向连接
    TYPE_ENFORCED_AUDIBLE = 8,	// 强制提示音
    TYPE_DTMF = 9, // 双音多频
    TYPE_TTS = 10,	// 文本转语音
    TYPE_ACCESSIBILITY = 11,	// 辅助提示音
} AudioStreamType;

// 音频编解码格式
typedef enum {
    AUDIO_DEFAULT    = 0,
    PCM              = 1,
    AAC_LC           = 2,
    AAC_HE_V1        = 3,
    AAC_HE_V2        = 4,
    AAC_LD           = 5,
    AAC_ELD          = 6,
    G711A            = 7,
    G711U            = 8,
    G726             = 9,
    FORMAT_BUTT,
} AudioCodecFormat;

// 采样位宽
typedef enum {
    BIT_WIDTH_8   = 8,
    BIT_WIDTH_16  = 16,
    BIT_WIDTH_24  = 24,
    BIT_WIDTH_32  = 32,
    BIT_WIDTH_BUTT,
} AudioBitWidth;

3.3 音频相关接口

类名接口名描述
AudioCapturerstatic bool GetMinFrameCount(int32_t sampleRate, int32_t channelCount,
AudioCodecFormat audioFormat, size_t &frameCount);		获取最小帧数
AudioCaptureruint64_t GetFrameCount()获取当前条件下所需的帧数
AudioCapturerint32_t SetCapturerInfo(const AudioCapturerInfo info)设置采集参数
AudioCapturerint32_t GetCapturerInfo(AudioCapturerInfo &info)获取采样参数
AudioCapturerbool Start()开始采集
AudioCapturerint32_t Read(uint8_t *buffer, size_t userSize, bool isBlockingRead)读取音频数据
AudioCapturerState GetStatus()获取采集状态
AudioCapturerbool GetAudioTime(Timestamp &timestamp, Timestamp::Timebase base)获取时间戳
AudioCapturerbool Stop()停止采集
AudioCapturerbool Release()销毁
AudioEncoderint32_t Initialize(const AudioEncodeConfig &config)根据给定的配置初始化音频源
AudioEncoderint32_t BindSource(uint32_t deviceId)绑定音频源到给定的设备
AudioEncoderint32_t GetMute(bool &muted)获取当前编码器的静音状态
AudioEncoderint32_t SetMute(bool muted)设置当前编码器的静音状态
AudioEncoderint32_t Start()开始
AudioEncoderint32_t ReadStream(AudioStream &stream, bool isBlockingRead)读取音频流
AudioEncoderint32_t Stop()停止
AudioEncoderint32_t Release()销毁
AudioSourceint32_t EnumDeviceBySourceType(AudioSourceType inputSource,
std::vector &devices)		当前音频源类型支持的设备
AudioSourcestatic bool GetMinFrameCount(int32_t sampleRate, int32_t channelCount,
AudioCodecFormat audioFormat, size_t &frameCount)		获取指定条件下的最小帧数
AudioSourceuint64_t GetFrameCount()获取当前配置条件下的帧数
AudioSourceint32_t Initialize(const AudioSourceConfig &config)根据给定的配置参数初始化
AudioSourceint32_t SetInputDevice(uint32_t deviceId)设置切换设备时输入设备的标识
AudioSourceint32_t GetCurrentDeviceId(uint32_t &deviceId)获取当前设备Id
AudioSourceint32_t Start()开始
AudioSourceint32_t ReadFrame(AudioFrame &frame, bool isBlockingRead)读取源数据帧
AudioSourceint32_t Stop()停止
AudioSourceint32_t Release()销毁

写在最后

●如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：
●点赞，转发，有你们的 『点赞和评论』，才是我创造的动力。
●关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
●更多鸿蒙最新技术知识点，请移步前往小编：https://gitee.com/

在这里插入图片描述

「已注销」
关注
专栏目录
v78.01 鸿蒙内核源码分析(消息映射篇) | 剖析LiteIpc(下)进程通讯机制 | 百篇博客分析OpenHarmony源码
鸿蒙研究站 | 每天死磕一点点 | 由内核源码切入挖透OpenHarmony技术栈
02-09 945
映射 一词在系列篇中多次出现，虚拟地址的基础就是映射，共享内存的实现也要靠映射，LiteIPC通讯的底层实现也离不开映射，有意思的是将用户态的线性区和内核态的线性区进行了映射。也就是说当用户访问用户空间中的某个虚拟地址时，这个虚拟地址其实和内核空间某个地址都指向了同一个物理内存。
OpenHarmony4.0源码解析之媒体框架
2401_82772199的博客
02-26 1191
从框架图中可以看出，媒体框架的主要工作模式为通过 Gstreamer 的插件自动化注册及插件组合功能，将其余媒体播放相关的框架功能插件化，配合 Gstreamer 自身丰富的插件，共同来对外提供音视频的录制与播放功能。如通过 audio-sink 及 audio-source 插件调用音频框架的播放及采集功能来实现音频的播放与录制；通过 surface-sink 调用图形框架，video-decoder 调用解码驱动模块实现视频的硬解播放等。
HarmonyOS——OpenHarmony源码.pdf
12-15
获取方式1：从hpm网站组件式获取。通过HPM，查找满足需求的解决方案，挑选/裁剪组件后下载。 获取方式2：用包管理器命令行工具获取。通过HPM的hpm-cli命令行工具，执行命令下载。 获取方式3：从代码仓库获取。通过git工具从代码仓库中下载。
【鸿蒙南向开发】OpenHarmony 源码解析之 Ability子系统
HarmonyOS_666的博客
08-04 918
Ability 子系统是支撑鸿蒙应用程序运行的核心模块，对于系统开发者\ 应用开发者来说，都很有必要去深入了解。本文档对 Ability 子系统的功能和结构做了介绍，由于该模块代码量较多，逻辑较复杂，该讲解也仅是在框架层面，未深究其细节。
OpenHarmony Camera源码分析
OpenHarmony_dev的博客
09-06 1228
调用流程来到了StreamOperatorProxy的Capture接口，StreamOperatorProxy是HDI模块的client端，HDI模块的client通过IPC调用到HDI的server端进行具体的操作，这个属于底层调用模块，暂时不继续分析。在HCaptureSession的调用中，调用HStreamRepeat的Start接口，HStreamRepeat在上述的创建预览输出时创建的对象，最终调用到HStreamRepeat的StartPreview接口。以下对几个核心代码进行具体分析。
鸿蒙OpenHarmony轻量系统源码分析
m0_71263309的博客
04-23 1344
当前的开源鸿蒙LiteOS-M和LiteOS-A是通过gn和ninja编译的。Gitee官方只介绍了LiteOS-M的gn + ninja编译的流程，针对M3使用Keil编译的流程可能要参考社区代码使用Keil编译ARM Cortex-M3时，只需要kernel_liteos_m仓库和Keil工程仓库，不需要全量的OpenHarmony代码由此可知，开源鸿蒙轻量系统只是简单的由LiteOS-M内核 + 一些芯片厂商的驱动组成LiteOS-M 编码规范OpenHarmony轻内核编码规范。
OpenHarmony— 内核对象事件之源码详解
maniuT的博客
04-08 1115
目前 OpenHarmony 的事件提供一种任务间的 IPC，即一个或多个任务可以通过写一个或多个不同的事件来触发内核调度，让另一个等待读取事件的任务进入运行状态，从而实现任务间的同步。看了上面的描述，相信大家对 OpenHarmony LiteOS-M 内核事件的运作机制有了更加深刻的理解，开发者可以更好地使用事件的 API 来进行任务间的同步操作，也可以进一步尝试修改内核事件通知机制，做出一个更适合自己任务的 IPC 机制。4 处，事件发生时等待事件的任务被调度再次获得 CPU 恢复执行，读取事件。
OpenHarmony—内核对象事件之源码详解
OpenHarmony_dev的博客
06-28 727
近年来，国内开源实现跨越式发展，并成为企业提升创新能力、生产力、协作和透明度的关键。作为 OpenAtom OpenHarmony（以下简称“OpenHarmony”）开源项目共建单位之一，深开鸿以成为智能物联网操作系统领军者为战略目标，基于 OpenHarmony 聚焦智能物联网操作系统（KaihongOS）的技术研发与持续创新。身为深开鸿 OS 内核开发师，我们常年深耕于 OpenHarmony 的内核开发，希望通过分享一些工作上的经验，帮助大家掌握开源知识。OpenHarmony LiteOS-M 内
鸿蒙南向开发—OpenHarmony技术编译构建框架
m0_62167422的博客
01-04 1314
以部件为最小粒度拼装产品和独立编译。支持轻量、小型、标准三种系统的解决方案级版本构建，以及用于支撑应用开发者使用IDE开发的SDK开发套件的构建。支持芯片解决方案厂商的灵活定制和独立编译。编译子系统通过配置来实现编译和打包，该子系统主要包括：模块、部件、子系统、产品。子系统是某个路径下所有部件的集合，一个部件只能属于一个子系统。部件是模块的集合，一个模块只能归属于一个部件。通过产品配置文件配置一个产品包含的部件列表，部件不同的产品配置可以复用。
鸿蒙OpenHarmony南向：【Hi3516开发板介绍】
m0_62167422的博客
05-06 1192
Hi3516DV300作为新一代行业专用Smart HD IP摄像机SOC，集成新一代ISP（Image Signal Processor）、H.265视频压缩编码器以及高性能NNIE引擎，具备低码率、高画质、低功耗等特点，并具备强劲的智能处理和分析能力。图1Hi3516单板正面外观图点击或者复制转到。鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将。
鸿蒙OpenHarmony【创建工程并获取源码】
m0_62167422的博客
04-19 802
而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点如果。
OpenHarmony 实战开发——资源调度之内存管理源码分析
m0_70748458的博客
05-13 636
本文主要介绍了智能感知调度模块的主要类关系、初始化流程、绘帧信息调度流程和帧感知调度流程并贴出相关主要代码，为开发人员维护和扩展功能提供参考。基本概念构建第一个ArkTS应用……应用基础知识配置文件应用数据管理应用安全管理应用隐私保护三方应用调用管控机制资源分类与访问学习ArkTS语言……Ability开发UI开发公共事件与通知窗口管理媒体安全网络与链接电话服务数据管理后台任务(Background Task)管理设备管理。
OpenHarmony 实战开发——内核对象事件之源码详解
maniuT的博客
05-16 424
对于嵌入式开发工作人员和技术爱好者来说，深入了解常见任务间 IPC，有助于学习和研发内核。本文将从数据结构和算法解析 OpenHarmony 的事件机制，带大家深入了解内核任务间 IPC 原理。
【鸿蒙南向开发】OpenHarmony 源码解析之多模输入子系统（事件派发流程）
最新发布
HarmonyOS_666的博客
08-05 992
通过本文的学习可以了解多模输入系统事件派发的流程，以及多模输入系统的接口和注入事件的流程，结合以上的源码分析会对多模输入子系统会有更深入的理解。●如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：●关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
OpenHarmony媒体子系统音频组件
程序猿老樊的博客
03-31 429
常用的音频采样频率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz、96kHz、192kHz等。音频数据是流式的，本身没有明确的一帧帧的概念，在实际的应用中，为了音频算法处理/传输的方便，一般约定俗成取2.5ms~60ms为单位的数据量为一帧音频。PCM（Pulse Code Modulation），即脉冲编码调制，是一种将模拟信号数字化的方法，是将时间连续、取值连续的模拟信号转换成时间离散、抽样值离散的数字信号的过程。以下步骤描述了如何使用。
OpenHarmony源码学习之编译框架
weixin_42938827的博客
12-23 2891
OpenHarmony是由开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目，目标是面向全场景、全连接、全智能时代、基于开源的方式，搭建一个智能终端设备操作系统的框架和平台，促进万物互联产业的繁荣发展。最近在学习OpenHarmony源代码，个人认为学习有三个阶段看、实操、写，本着学习的终极目标，因此有了这篇文章。
【直播回顾】OpenHarmony知识赋能第五期第二课——如何成为社区贡献达人
OpenHarmony_dev的博客
04-29 200
4月28日晚上19点，知识赋能第五期第二节课《如何成为OpenHarmony社区贡献达人？》，在OpenHarmony开发者成长计划社群内成功举行。 本期课程，由华为社区运营专家祝尚元主讲，是“OpenHarmony开源开发者成长计划项目”举办的知识赋能系列直播之一。OpenHarmony开源开发者成长计划项目自2021年10月24日上线以来，在开发者中引发高度关注。短暂的6个月时间，OpenHarmony知识赋能直播课已经走过了4期，共22节课、19名技术大咖倾囊相授、2000+学生开发者观看学习，
OpenHarmony源码解析之电话子系统——通话流程
OpenHarmony_dev的博客
05-10 2956
（以下内容来自开发者分享，不代表 OpenHarmony 项目群工作委员会观点） 王大鹏 深圳开鸿数字产业发展有限公司 一、简介 OpenAtom OpenHarmony（以下简称“OpenHarmony”）电话子系统为 OS 提供了基础的无线通信能力。 支持 TD-LTE/FDD-LTE/TD-SCDMA/WCDMA/EVDO/CDMA1X/GSM 等网络制式的通信模块，能够提供高速的无线数据传输、互联网接入等业务，具备语音、短信、彩信、SIM 卡等功能。 以下行文如无特别说
HarmonyOS开源版：OpenHarmony源码获取与技术架构详解
整个过程涉及到了版本管理、组件选择、环境配置和编译技术，这些都是构建和定制HarmonyOS系统的关键步骤。开发者可以根据项目需求灵活运用这些获取和定制方法，以构建适合特定应用场景的HarmonyOS系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值