鸿蒙（API 12 Beta3版）【AudioVivid解封装与能力介绍】音视频编码

最新推荐文章于 2025-03-07 17:10:50 发布

移动开发技术栈

最新推荐文章于 2025-03-07 17:10:50 发布

阅读量924

点赞数 17

分类专栏：鸿蒙开发文章标签： harmonyos 音视频鸿蒙系统媒体音频编码 AudioVivid 解封装

本文链接：https://blog.csdn.net/m0_70748845/article/details/141109882

版权

鸿蒙开发专栏收录该内容

1750 篇文章

订阅专栏

Audio Vivid（菁彩三维声）是全球首个基于AI技术的音频编解码标准，由世界超高清视频产业联盟（UWA联盟）与数字音视频编解码技术标准工作组（AVS）联合制定，共同发布。包含音频PCM数据以及元数据的音频格式，相比传统立体声音源，Audio Vivid包含音频内容源的元数据信息，能够还原物理和感知世界中的真实听感，打造极致的沉浸式听觉体验。

HarmonyOS打造全链路高清空间音频系统，包含Audio Vivid编解码、空间音频渲染算法等关键能力，并在各类终端产品逐步构建全场景空间音频特性，从传统立体声升级到三维声，获得更好的音质、更沉浸的空间感。

HarmonyOS支持播放Audio Vivid格式音源，并在耳机实现双耳空间音频渲染重放，在手机、平板、PC等支持外放空间音频渲染重放。系统的空间音频渲染能力无感接入，不需要做特定适配。

搭配HarmonyOS高清空间音频渲染能力，将音乐中的人声和各种乐器声作为独立的声音对象，重新定义各种声音对象的位置、移动轨迹和声音大小、远近等要素，实现声音在听众四周及上方全面萦绕，实现更佳的空间音频沉浸式体验，获得影院、音乐厅等的临场感与艺术体验。佩戴支持头动跟踪的耳机收听空间音频，还能实现动态头动跟踪，让声音围绕听众重新定位，还原逼真的临场感。

以下主要介绍使用HarmonyOS进行Audio Vivid格式音源的端到端播放的流程。

Audio Vivid端到端播放包括调用系统编解码能力进行[解封装]、[解码]，以及调用系统播放能力进行[渲染播放]两个部分。

获取到Audio Vivid封装的mp4文件后，先调用解封装相关接口，选中音频轨，读取每一帧Audio Vivid，[送入解码器中]。

在Cmake脚本中链接到动态库

target_link_libraries(sample PUBLIC 
libnative_media_codecbase.so libnative_media_core.so 
libnative_media_acodec.so libnative_media_avdemuxer.so libnative_media_avsource.so
)

添加头文件

//解封装头文件
#include "multimedia/player_framework/native_avdemuxer.h"

// 解封装解码传递信息结构体
struct AudioSampleInfo {
std::string audioCodecMime = "";
int32_t audioSampleForamt = 0;
int32_t audioSampleRate = 0; 
int32_t audioChannelCount = 0;
int64_t audioChannelLayout = 0;
uint8_t audioCodecConfig[100] = {0};
size_t audioCodecSize = 0;
};

AudioSampleInfo  info;

开发步骤

创建解封装实例。

// ts code获取fd和size
let inputFile = fs.openSync(filepath,fs.OpenMode.READ_ONLY);
if(inputFile){
    let inputFileState = fs.stateSync(inputFile.fd);
    let inputFileSize = inputFIleState.size;
}

//C++ code
OH_AVSource *source = OH_AVSource_CreateWithFD(inputFd,0,inputFileSize);
OH_AVDemuxer *demuxer = OH_AVDemuxer_CreateWithSource(source);
auto sourceFormat = std::shared_ptr<OH_AVFormat>(OH_AVSource_GetSourceFormat(source_), OH_AVFormat_Destroy);
int32_t trackCount = 0;
OH_AVFormat_GetIntValue(sourceFormat.get(), OH_MD_KEY_TRACK_COUNT, &trackCount);

选中音频轨。

int32_t trackCount = 0;
OH_AVFormat_GetIntValue(sourceFormat.get(), OH_MD_KEY_TRACK_COUNT, &trackCount);
for (int32_t index = 0; index < trackCount; index++) {
int trackType = -1;
auto trackFormat =
    std::shared_ptr<OH_AVFormat>(OH_AVSource_GetTrackFormat(source_, index), OH_AVFormat_Destroy);
// 获取轨道类型
OH_AVFormat_GetIntValue(trackFormat.get(), OH_MD_KEY_TRACK_TYPE, &trackType);
// 判断当前轨道为音频轨
if (trackType == MEDIA_TYPE_AUD) { 
    // 选中音频轨
    OH_AVDemuxer_SelectTrackByID(demuxer, index);
    // 获取位深
    OH_AVFormat_GetIntValue(trackFormat.get(), OH_MD_KEY_AUDIO_SAMPLE_FORMAT, &info.audioSampleForamt);
    // 获取声道数
    OH_AVFormat_GetIntValue(trackFormat.get(), OH_MD_KEY_AUD_CHANNEL_COUNT, &info.audioChannelCount);
    // 获取声道布局
    OH_AVFormat_GetLongValue(trackFormat.get(), OH_MD_KEY_CHANNEL_LAYOUT, &info.audioChannelLayout);
    // 获取采样率
    OH_AVFormat_GetIntValue(trackFormat.get(), OH_MD_KEY_AUD_SAMPLE_RATE, &info.audioSampleRate);
    // 获取额外配置信息
    uint8_t *addr = nullptr;
    OH_AVFormat_GetBuffer(trackFormat.get(), OH_MD_KEY_CODEC_CONFIG, &addr, &info.audioCodecSize);
    memcpy((void *)info.audioCodecConfig, (void *)addr, info.audioCodecSize);
    // 获取解码器类型
    char *audioCodecMime;
    OH_AVFormat_GetStringValue(trackFormat.get(), OH_MD_KEY_CODEC_MIME, const_cast<char const **>(&audioCodecMime));
    info.audioCodecMime = audioCodecMime;
    int32_t trackId = index;
    break;
    }
}

读取每一帧数据。

OH_AVBuffer *buffer;
int32_t ret = OH_AVDemuxer_ReadSampleBuffer(demuxer, trackId, buffer);

释放解封装实例。

int32_t Release()
{
    if (demuxer != nullptr) {
        OH_AVDemuxer_Destroy(demuxer);
        demuxer = nullptr;
    }
    if (source != nullptr) {
        OH_AVSource_Destroy(source);
        source = nullptr;
    }
    return AVCODEC_SAMPLE_ERR_OK;
}

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点

如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

在这里插入图片描述