鸿蒙（API 12 Beta3版）【HDR Vivid视频录制】 音视频编码

最新推荐文章于 2024-08-12 20:25:49 发布
最新推荐文章于 2024-08-12 20:25:49 发布
阅读量569 收藏 15
点赞数 4
分类专栏： 鸿蒙开发 文章标签： harmonyos 音视频 华为 媒体 鸿蒙开发 openharmony 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_70748845/article/details/141132679
版权

开发者可以调用本模块的Native API接口，实现在视频录制中支持HDR Vivid标准。

视频录制的主要流程是“相机采集 > 编码 > 封装成mp4文件”。

HDR Vivid视频编码

应用创建H265编码器，配置profile(main 10)相机底层包含HDR Vivid的surfacebuffer内容，编码器消费surfacebuffer编码生成对应码流。

说明

仅在Surface模式下支持HDR Vivid视频编码。

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
target_link_libraries(sample PUBLIC libnative_media_avdemuxer.so)
target_link_libraries(sample PUBLIC libnative_media_avsource.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)

开发步骤

  1. 添加头文件。
#include <multimedia/player_framework/native_avcodec_videoencoder.h>
#include <multimedia/player_framework/native_avcapability.h>
#include <multimedia/player_framework/native_avcodec_base.h>
#include <multimedia/player_framework/native_avformat.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <fstream>

  1. 创建编码器实例对象。

    应用可以通过名称或媒体类型创建编码器。示例中的变量说明如下：

    • videoEnc：视频编码器实例的指针；
    • OH_AVCODEC_MIMETYPE_VIDEO_HEVC：HEVC格式视频码流的名称。
// 通过mimetype创建H265编码器
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_HEVC);

  1. 配置异步回调函数。

    添加头文件：

#include <condition_variable>
#include <queue>
#include <mutex>

struct CodecBufferInfo {
    uint32_t bufferIndex = 0;
    OH_AVBuffer *buffer = nullptr;
    uint8_t *bufferAddr = nullptr;
    OH_AVCodecBufferAttr attr = {0, 0, 0, AVCODEC_BUFFER_FLAGS_NONE};
};
std::mutex outputMutex_;
std::condition_variable outputCond_;
std::queue<CodecBufferInfo> outputBufferInfoQueue_;

// 设置OH_AVCodecOnNewOutputBuffer回调函数，编码完成帧送入输出队列
void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData) {
    (void)codec;
    std::unique_lock<std::mutex> lock(outputMutex_);
    outputBufferInfoQueue_.emplace(index, buffer);
    outputCond_.notify_all();
}

具体可参考：[视频编码Surface模式]中的“步骤3：调用OH_VideoEncoder_RegisterCallback()设置回调函数”。

  1. 配置编码器。

    可选配置视频帧宽度、频帧高度、视频颜色格式。

// 配置编码Profile为MAIN10(必须)
int32_t profile = static_cast<int32_t>(HEVC_PROFILE_MAIN_10);
// 配置视频原色
int32_t primary = static_cast<int32_t>(OH_ColorPrimary::COLOR_PRIMARY_BT2020);
// 配置传输特性
int32_t transfer = static_cast<int32_t>(OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_PQ);// PQ或者HLG
// 配置最大矩阵系数
int32_t matrix = static_cast<int32_t>(OH_MatrixCoefficient::MATRIX_COEFFICIENT_BT2020_CL);
// 配置关键帧的间隔，单位为毫秒
int32_t iFrameInterval = 100;

OH_AVFormat *format = OH_AVFormat_Create();
OH_AVFormat_SetIntValue(format, OH_MD_KEY_PROFILE, profile);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_COLOR_PRIMARIES, primary);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_TRANSFER_CHARACTERISTICS, transfer);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_MATRIX_COEFFICIENTS, matrix);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_I_FRAME_INTERVAL, iFrameInterval);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_RANGE_FLAG, 1);
// 配置编码器
int32_t ret = OH_VideoEncoder_Configure(videoEnc, format);
if (ret != AV_ERR_OK) {
    // 异常处理
}
OH_AVFormat_Destroy(format);

  1. 获取surface，并设置给相机。

    具体可参考：[视频编码Surface模式]中的“步骤6：获取Surface”。

  2. 调用OH_VideoEncoder_Start()启动编码器。

    具体可参考：[视频编码Surface模式]中的“步骤8：调用OH_VideoEncoder_Start()启动编码器”。

HDR Vivid视频封装

调用Muxer可以将HDRVivid码流封装成文件，码流格式需指定为hevc码流，并设置宽、高、isHDRVivid信息。Color信息通常需要从编码获取并设置给封装器。

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_avmuxer.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)

开发步骤

  1. 添加头文件。
#include <multimedia/player_framework/native_avmuxer.h>
#include <multimedia/player_framework/native_avcodec_base.h>
#include <multimedia/player_framework/native_avformat.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <fcntl.h>
  1. 调用OH_AVMuxer_Create()创建封装器实例对象。
// 设置封装格式为mp4
OH_AVOutputFormat outputFormat = AV_OUTPUT_FORMAT_MPEG_4;
// 以读写方式创建fd
int32_t fd = open("test.mp4", O_CREAT | O_RDWR | O_TRUNC, S_IRUSR | S_IWUSR);
OH_AVMuxer *muxer = OH_AVMuxer_Create(fd, outputFormat);
  1. 添加视频轨，并指定类型为HDRVivid类型。
int videoTrackId = -1;
uint8_t *buffer = ...; // 编码config data，如果没有可以不传
size_t size = ...;  // 编码config data的长度，根据实际情况配置

OH_AVFormat *formatVideo = OH_AVFormat_Create();
OH_AVFormat_SetStringValue(formatVideo, OH_MD_KEY_CODEC_MIME, OH_AVCODEC_MIMETYPE_VIDEO_HEVC); // 必填
OH_AVFormat_SetIntValue(formatVideo, OH_MD_KEY_WIDTH, 1280); // 必填
OH_AVFormat_SetIntValue(formatVideo, OH_MD_KEY_HEIGHT, 720); // 必填
// (可选)HDRVivid视频封装时必填，指定为HDRVivid视频
OH_AVFormat_SetIntValue(formatVideo, OH_MD_KEY_VIDEO_IS_HDR_VIVID, 1);
// (可不设置，封装器从编码码流xps自动解析) 设置Color信息，如下。
// 这些信息也可以通过调用OH_VideoEncoder_GetOutputDescription(OH_AVCodec *codec)接口从编码器中获取。
OH_AVFormat_SetIntValue(format, OH_MD_KEY_RANGE_FLAG, 1);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_COLOR_PRIMARIES, OH_ColorPrimary::COLOR_PRIMARY_BT2020);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_TRANSFER_CHARACTERISTICS, OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_PQ); // PQ或者HLG
OH_AVFormat_SetIntValue(format, OH_MD_KEY_MATRIX_COEFFICIENTS, OH_MatrixCoefficient::MATRIX_COEFFICIENT_BT2020_CL);

ret = OH_AVMuxer_AddTrack(muxer, &videoTrackId, formatVideo);
if (ret != AV_ERR_OK || videoTrackId < 0) {
    // 音频轨添加失败
}
OH_AVFormat_Destroy(formatVideo); // 销毁

处理视频帧数据

  1. 写入封装数据。
// start后，才能开始写入数据
int trackId = videoTrackId; // 选择写的媒体轨
// 取出回调函数OnNewOutputBuffer送入输出队列的帧buffer
CodecBufferInfo bufferInfo = outputBufferInfoQueue_.front();
outputBufferInfoQueue_.pop();
ret = OH_AVMuxer_WriteSampleBuffer(muxer, trackId, bufferInfo.buffer);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. 调用OH_VideoEncoder_FreeOutputBuffer()释放编码帧。
// 释放已完成写入的数据，index为对应输出队列的下标
ret = OH_VideoEncoder_FreeOutputBuffer(videoEnc, bufferInfo.bufferIndex);
if (ret != AV_ERR_OK) {
    // 异常处理
}

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点

如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

在这里插入图片描述

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说，我们直接看详细鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，帮助大家在技术的道路上更进一步。

  • 《鸿蒙 (OpenHarmony)开发学习视频》
  • 《鸿蒙生态应用开发V2.0白皮书》
  • 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  • OpenHarmony北向、南向开发环境搭建
  • 《鸿蒙开发基础》
  • 《鸿蒙开发进阶》
  • 《鸿蒙开发实战》

在这里插入图片描述

总结

鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用需要开发，也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长，学习鸿蒙势在必行！ 自↓↓↓拿

移动开发技术栈
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RFID技术中的Vivace多标准处理器支持实时视频转码
11-19
VSP100芯片的出现，标志着在移动设备上实现D1高画质视频播放成为可能，同时具备实时视频转码能力，极大地提升了用户体验。 VSP100芯片采用了先进的0.13微米工艺制造，拥有256管脚的BGA封装，符合环保的RoHS标准。其...
VividEngine2:Vivid Engine 2是使用C＃和C ++编码的开源3D引擎。-开源
05-12
生动的引擎2.重新编写。 生动的引擎是3D引擎，提供了多种工具来促进Windows和XBox One +的应用程序和游戏的创建。... 所有像素着色器均已编码，并且是引擎的一部分。 当然，您可以轻松扩展和添加自己的fx和功能。
鸿蒙（API 12 Beta3版）【HDR Vivid视频播放】 音视频编码
鸿蒙的技术博客
08-12 540
开发者可以调用本模块的Native API接口，实现在视频播放中支持HDR Vivid标准。
鸿蒙（API 12 Beta3版）【AudioVivid播放】 音视频编码
鸿蒙的技术博客
08-11 582
在获取到解码后的Audio Vivid的PCM数据和元数据之后，可以调用OHAudio的相关播放接口，进行Audio Vivid格式音源的渲染播放。
鸿蒙（API 12 Beta3版）【AudioVivid解码】 音视频编码
鸿蒙的技术博客
08-11 268
获取解封装后的数据，送入解码器中，使用解码器获取PCM和Metadata元数据。
鸿蒙（API 12 Beta3版）【AudioVivid解封装与能力介绍】 音视频编码
鸿蒙的技术博客
08-11 500
Audio Vivid（菁彩三维声）是全球首个基于AI技术的音频编解码标准，由世界超高清视频产业联盟（UWA联盟）与数字音视频编解码技术标准工作组（AVS）联合制定，共同发布。包含音频PCM数据以及元数据的音频格式，相比传统立体声音源，Audio Vivid包含音频内容源的元数据信息，能够还原物理和感知世界中的真实听感，打造极致的沉浸式听觉体验。
鸿蒙（API 12 Beta3版）【音视频解封装】 文件解析封装
最新发布
鸿蒙的技术博客
08-12 622
开发者可以调用本模块的Native API接口，完成音视频解封装，即从比特流数据中取出音频、视频等媒体帧数据。
鸿蒙（API 12 Beta3版）【音频解码】
鸿蒙的技术博客
08-09 719
开发者可以调用本模块的Native API接口，完成音频解码，即将媒体数据解码为PCM码流。
HDR视频相关标准-HDR vivid（二）
showerlxy的博客
05-23 1404
HDR视频实际应用处理相关介绍
HDR 视频相关标准-HDR vivid （一）
showerlxy的博客
05-23 983
HDR vivid技术概况
【鸿蒙实战开发】基于AVCodecKit的音视频解码及二次处理播放
MNXN666的博客
07-21 710
场景：基于VideoCoder的音视频解码及二次处理播放。首先导入选择器picker模块，使用PhotoViewPicker方法拉起图库选择视频文件，将视频文件传递到native侧使用Demuxer解封装器进行解封装，再使用OH_VideoDecoder进行解码（surface模式）送显播放Step1：导入picker模块(仅代表选择一个视频路径，还有其它获取媒体文件的方式), 拉起图库选择视频文件保存到自定义路径。Step2：将文件传递到native侧进行交互。
VividEngine2OS:Vivid Engine 2是使用C＃和C ++编码的开源3D引擎。-开源
04-29
3. **开源软件**：Vivid Engine 2遵循开源协议，这意味着源代码对公众开放，允许任何人查看、使用、修改和分发代码。这种模式促进了社区参与和持续改进，鼓励开发者共享解决方案和创新。 4. **项目结构**：从压缩包...
Vivid3D:Vivid3D是具有各种工具的开源3D和2D引擎，可促进现代应用程序和游戏的创建
03-21
1. **图形渲染**：Vivid3D可能内置了对DirectX或OpenGL的支持，这两种是主流的3D图形API。它们允许引擎与硬件进行通信，实现高效的图形渲染。Vivid3D可能还提供了光照、阴影、纹理映射、法线贴图、后期处理效果等...
Vivid2DC：范围九的CPP版本
02-14
作为一个C++的3D引擎，Vivid2DC旨在简化复杂的3D编程过程，提供易用的API接口，帮助开发者快速构建高效能的应用程序。它可能包含了一系列的类、方法和工具，用于处理3D模型、纹理、光照、摄像机视角、动画等关键元素...
鸿蒙AI功能开发【hiai引擎框架-通用文字识别】 基础视觉服务
2301_76813281的博客
08-07 508
本示例展示了使用hiai引擎框架提供的通用文字识别能力。 本示例模拟了在应用里，选择一张图片，识别其文字信息并展示出来（可复制）。 需要使用hiai引擎框架通用文字识别接口@kit.CoreVisionKit.d.ts。
【HarmonyOS NEXT星河版开发学习】小型测试案例06-小红书卡片
2302_80329073的博客
08-06 823
在鸿蒙（HarmonyOS）开发中，自适应伸缩是指应用程序能够根据不同设备的屏幕尺寸、分辨率和形态（如手机、平板、电视）自动调整布局和元素大小，以确保用户界面在各种设备上都能良好地显示和使用。约束布局（ConstraintLayout）
鸿蒙AI功能开发【hiai引擎框架-分词、实体抽取】 自然语言理解服务
2301_76813281的博客
08-08 262
本示例展示了使用hiai引擎框架提供的基于自然语言处理服务的分词、实体抽取功能。 本示例模拟了在应用里，输入一段文字，调用分词、实体抽取能力后得到的结果。 需要使用hiai引擎框架通用文字识别接口@hms.ai.nlp.textProcessing.d.ts。
鸿蒙HarmonyOS开发：多种内置弹窗及自定义弹窗的详细使用指南
在这里，我分享我的技术心得、项目经验、实用的技术教程、深入的技术分析以及前端开发的最新动态，希望能帮助到更多的人。
08-08 1694
弹窗是移动应用中常见的一种用户界面元素，常用于显示一些重要的信息、提示用户进行操作或收集用户输入。ArkTS提供了多种内置的弹窗供开发者使用，除此之外还支持自定义弹窗，来满足各种不同的需求。不同弹窗的详细使用介绍，消息提示框（showToast）、对话框（showDialog）、警告弹窗（AlertDialog）、操作菜单（showActionMenu）、操作列表弹窗（ActionSheet）、文本滑动选择器弹窗 (TextPickerDialog)、自定义弹窗 (CustomDialog)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值