【HarmonyOS实战开发】媒体开发之视频解码

最新推荐文章于 2024-10-13 21:51:07 发布
最新推荐文章于 2024-10-13 21:51:07 发布
阅读量1.1k 收藏 17
点赞数 17
分类专栏： 安卓 鸿蒙 前端 文章标签： 媒体 音视频 harmonyos 华为 前端 安卓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HarmonyOS007/article/details/141361977
版权
安卓 同时被 3 个专栏收录
200 篇文章 0 订阅
订阅专栏
鸿蒙
200 篇文章 8 订阅
订阅专栏
前端
200 篇文章 0 订阅
订阅专栏

开发者可以调用本模块的Native API接口，完成视频解码，即将媒体数据解码成YUV文件或送显。

当前支持的解码能力如下：

image.png

视频解码软/硬件解码存在差异，基于MimeType创建解码器时，软解当前仅支持 H264 (OH_AVCODEC_MIMETYPE_VIDEO_AVC)，硬解则支持 H264 (OH_AVCODEC_MIMETYPE_VIDEO_AVC) 和 H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)。

如果需要对HDRVivid视频进行解码，需要配置MimeType为H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)，本功能从API version 11开始支持。

通过视频解码，应用可以实现以下重点能力，包括：
image.png

限制约束

  1. buffer模式不支持10bit的图像数据。
  2. Flush，Reset，Stop之后，重新Start时，需要重新传XPS。具体示例请参考Surface模式步骤14调用OH_VideoDecoder_Flush()。
  3. 由于硬件解码器资源有限，每个解码器在使用完毕后都必须调用OH_VideoDecoder_Destroy()函数来销毁实例并释放资源。
  4. 视频解码输入码流仅支持AnnexB格式，且支持的AnnexB格式不支持多层次切片。
  5. 在调用Flush，Reset，Stop的过程中，开发者不应对之前回调函数获取到的OH_AVBuffer继续进行操作。

Surface输出与Buffer输出

  1. 两者数据的输出方式不同。
  2. 两者的适用场景不同。
  • Surface输出是指用OHNativeWindow来传递输出数据，可以与其他模块对接，例如XComponent。
  • Buffer输出是指经过解码的数据会以共享内存的方式输出。
  1. 在接口调用的过程中，两种方式的接口调用方式基本一致，但存在以下差异点：
  • 在Surface模式下，可选择调用OH_VideoDecoder_FreeOutputBuffer()接口丢弃输出帧（不送显）；在Buffer模式下，应用必须调用OH_VideoDecoder_FreeOutputBuffer()释放数据。
  • Surface模式下，应用在解码器就绪前，必须调用OH_VideoDecoder_SetSurface()设置OHNativeWindow，启动后，调用OH_VideoDecoder_RenderOutputBuffer()将解码数据送显；
  • 输出回调传出的buffer，在Buffer模式下，可以获取共享内存的地址和数据信息；在Surface模式下，只能获取buffer的数据信息。

两种模式的开发步骤详细说明请参考：Surface模式和Buffer模式。

状态机调用关系

如下为状态机调用关系图：

image.png

  1. 有两种方式可以使解码器进入Initialized状态：

    • 初始创建解码器实例时，解码器处于Initialized状态
    • 任何状态下调用OH_VideoDecoder_Reset()方法，解码器将会移回Initialized状态

  2. Initialized状态下，调用OH_VideoDecoder_Configure()方法配置解码器，配置成功后解码器进入Configured状态

  3. Configured状态下调用OH_VideoDecoder_Prepare()进入Prepared状态。

  4. Prepared状态调用OH_VideoDecoder_Start()方法使解码器进入Executing状态。

    • 处于Executing状态时，调用OH_VideoDecoder_Stop()方法可以使解码器返回到Prepared状态

  5. 在极少数情况下，解码器可能会遇到错误并进入Error状态。解码器的错误传递，可以通过队列操作返回无效值或者抛出异常。

    • Error状态下可以调用解码器OH_VideoDecoder_Reset()方法将解码器移到Initialized状态；或者调用OH_VideoDecoder_Destroy()方法移动到最后的Released状态

  6. Executing状态具有三个子状态：Flushed、Running和End-of-Stream：

    • 在调用了OH_VideoDecoder_Start()之后，解码器立即进入Running子状态。
    • 对于处于Executing状态的解码器，可以调用OH_VideoDecoder_Flush()方法返回到Flushed子状态。
    • 当待处理数据全部传递给解码器后，在input buffers队列中为最后一个入队的input buffer中添加AVCODEC_BUFFER_FLAGS_EOS标记，遇到这个标记时，解码器会转换为End-of-Stream子状态。在此状态下，解码器不再接受新的输入，但是仍然会继续生成输出，直到输出到达尾帧。

  7. 使用完解码器后，必须调用OH_VideoDecoder_Destroy()方法销毁解码器实例。使解码器进入Released状态。

开发指导

详细的API说明请参考API文档。

如下为视频解码调用关系图：

image.png

在 CMake 脚本中链接动态库


1.  target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
2.  target_link_libraries(sample PUBLIC libnative_media_core.so)
3.  target_link_libraries(sample PUBLIC libnative_media_vdec.so)

Surface模式

参考以下示例代码，开发者可以完成Surface模式下视频解码的全流程。此处以H.264码流文件输入，解码送显输出为例。

本模块目前仅支持异步模式的数据轮转。

  1. 添加头文件。
target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)
target_link_libraries(sample PUBLIC libnative_media_vdec.so)
  1. 全局变量。
#include <multimedia/player_framework/native_avcodec_videodecoder.h>
#include <multimedia/player_framework/native_avcapability.h>
#include <multimedia/player_framework/native_avcodec_base.h>
#include <multimedia/player_framework/native_avformat.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <fstream>

  1. 创建解码器实例对象。

    应用可以通过名称或媒体类型创建解码器。示例中的变量说明如下：

    • videoDec：视频解码器实例的指针。
    • capability：解码器能力查询实例的指针。
    • OH_AVCODEC_MIMETYPE_VIDEO_AVC：AVC格式视频码流的名称。
// 通过codecname创建解码器，应用有特殊需求，比如选择支持某种分辨率规格的解码器，可先查询capability，再根据codec name创建解码器。
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false);
const char *name = OH_AVCapability_GetName(capability);
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(name);

// 通过MIME TYPE创建解码器，只能创建系统推荐的特定编解码器
// 涉及创建多路编解码器时，优先创建硬件解码器实例，硬件资源不够时再创建软件解码器实例
// 软/硬解: 创建H264解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
// 硬解: 创建H265解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_HEVC);

  1. 调用OH_VideoDecoder_RegisterCallback()设置回调函数。

    注册回调函数指针集合OH_AVCodecCallback，包括：

    • OH_AVCodecOnError 解码器运行错误；
    • OH_AVCodecOnStreamChanged 码流信息变化，如码流宽、高变化；
    • OH_AVCodecOnNeedInputBuffer 运行过程中需要新的输入数据，即解码器已准备好，可以输入数据；
    • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即解码完成(注：Surface模式buffer参数为空)。

开发者可以通过处理该回调报告的信息，确保解码器正常运转。

回调函数的具体实现可参考示例工程。

  // 解码异常回调OH_AVCodecOnError实现
static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
{
    // 回调的错误码由用户判断处理
    (void)codec;
    (void)errorCode;
    (void)userData;
}

// 解码数据流变化回调OH_AVCodecOnStreamChanged实现
static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
{
    // 可通过format获取到变化后的视频宽、高、跨距等
    (void)codec;
    (void)format;
    (void)userData;
}

// 解码输入回调OH_AVCodecOnNeedInputBuffer实现
static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{
    // 输入帧buffer对应的index，送入InIndexQueue队列
    // 输入帧的数据buffer送入InBufferQueue队列
    // 数据处理
    // 写入解码码流
}

// 解码输出回调OH_AVCodecOnNewOutputBuffer实现
static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{
    // 完成帧buffer对应的index，送入outIndexQueue队列
    // 完成帧的数据buffer送入outBufferQueue队列
    // 数据处理
    // 显示并释放解码帧
}
// 配置异步回调，调用 OH_VideoDecoder_RegisterCallback 接口
OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
// 配置异步回调
int32_t ret = OH_VideoDecoder_RegisterCallback(videoDec, cb, NULL); // NULL:用户特定数据userData为空 
if (ret != AV_ERR_OK) {
    // 异常处理
}

说明
在回调函数中，对数据队列进行操作时，需要注意多线程同步的问题。

  1. （可选）OH_VideoDecoder_SetDecryptionConfig设置解密配置。当获取到DRM信息(参考音视频解封装开发步骤第3步)后，通过此接口进行解密配置。DRM相关接口详见DRM API文档。此接口需在Prepare前调用。

添加头文件

#include <multimedia/drm_framework/native_mediakeysystem.h>
#include <multimedia/drm_framework/native_mediakeysession.h>
#include <multimedia/drm_framework/native_drm_err.h>
#include <multimedia/drm_framework/native_drm_common.h>

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_drm.so)

使用示例

// 根据DRM信息创建指定的DRM系统, 以创建"com.wiseplay.drm"为例
MediaKeySystem *system = nullptr;
int32_t ret = OH_MediaKeySystem_Create("com.wiseplay.drm", &system);
if (system == nullptr) {
    printf("create media key system failed");
    return;
}
// 进行Provision认证
// 创建解密会话
MediaKeySession *session = nullptr;
DRM_ContentProtectionLevel contentProtectionLevel = CONTENT_PROTECTION_LEVEL_SW_CRYPTO;
ret = OH_MediaKeySystem_CreateMediaKeySession(system, &contentProtectionLevel, &session);
if (session == nullptr) {
    printf("create media key session failed");
    return;
}
// 获取许可证请求、设置许可证响应等
// 设置解密配置, 即将解密会话、安全视频通路标志设置到解码器中。
bool secureVideoPath = false;
ret = OH_VideoDecoder_SetDecryptionConfig(videoDec, session, secureVideoPath);

  1. 调用OH_VideoDecoder_Configure()配置解码器。

    详细可配置选项的说明请参考视频专有键值对。

    参数校验规则请参考OH_VideoDecoder_Configure() 参考文档。

    参数取值范围可以通过能力查询接口获取，具体示例请参考获取支持的编解码能力。

    目前支持的所有格式都必须配置以下选项：视频帧宽度、视频帧高度、视频像素格式。示例中的变量如下：

    • DEFAULT_WIDTH：320像素宽度；
    • DEFAULT_HEIGHT：240像素高度；
    • DEFAULT_PIXELFORMAT： 像素格式，因为示例需要保存的YUV文件像素格式是NV12，所以设置为 AV_PIXEL_FORMAT_NV12。
 OH_AVFormat *format = OH_AVFormat_Create();
// 写入format
OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);
// 可选，配置低时延解码
OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENABLE_LOW_LATENCY, 1);
// 配置解码器
int32_t ret = OH_VideoDecoder_Configure(videoDec, format);
if (ret != AV_ERR_OK) {
    // 异常处理
}
OH_AVFormat_Destroy(format);
  1. 设置Surface。本例中的nativeWindow，需要从XComponent组件获取，获取方式请参考 XComponent。

Surface模式，开发者可以在解码过程中执行该步骤，即动态切换Surface。

// 配置送显窗口参数
int32_t ret = OH_VideoDecoder_SetSurface(videoDec, window);    // 从 XComponent 获取 window
if (ret != AV_ERR_OK) {
    // 异常处理
}

  1. （可选）OH_VideoDecoder_SetParameter()动态配置解码器surface参数。

    详细可配置选项的说明请参考视频专有键值对。

ret = OH_VideoDecoder_Prepare(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  1. 调用OH_VideoDecoder_Prepare()解码器就绪。

    该接口将在解码器运行前进行一些数据的准备工作。

ret = OH_VideoDecoder_Prepare(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. 调用OH_VideoDecoder_Start()启动解码器。
std::string_view inputFilePath = "/*yourpath*.h264";
std::unique_ptr<std::ifstream> inputFile = std::make_unique<std::ifstream>();
inputFile->open(inputFilePath.data(), std::ios::in | std::ios::binary); 
// 启动解码器，开始解码
int32_t ret = OH_VideoDecoder_Start(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. （可选）调用OH_AVCencInfo_SetAVBuffer()，设置cencInfo。
若当前播放的节目是DRM加密节目，且由上层应用做媒体解封装，则须调用OH_AVCencInfo_SetAVBuffer()将cencInfo设置给AVBuffer，以实现AVBuffer中媒体数据的解密。

添加头文件

#include <multimedia/player_framework/native_cencinfo.h>

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_avcencinfo.so)

使用示例

  • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；
uint32_t keyIdLen = DRM_KEY_ID_SIZE;
uint8_t keyId[] = {
  0xd4, 0xb2, 0x01, 0xe4, 0x61, 0xc8, 0x98, 0x96,
  0xcf, 0x05, 0x22, 0x39, 0x8d, 0x09, 0xe6, 0x28};
uint32_t ivLen = DRM_KEY_IV_SIZE;
uint8_t iv[] = {
  0xbf, 0x77, 0xed, 0x51, 0x81, 0xde, 0x36, 0x3e,
  0x52, 0xf7, 0x20, 0x4f, 0x72, 0x14, 0xa3, 0x95};
uint32_t encryptedBlockCount = 0;
uint32_t skippedBlockCount = 0;
uint32_t firstEncryptedOffset = 0;
uint32_t subsampleCount = 1;
DrmSubsample subsamples[1] = { {0x10, 0x16} };
OH_AVCencInfo *cencInfo = OH_AVCencInfo_Create();
if (cencInfo == nullptr) {
  // 异常处理
}
OH_AVErrCode errNo = OH_AVCencInfo_SetAlgorithm(cencInfo, DRM_ALG_CENC_AES_CTR);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetKeyIdAndIv(cencInfo, keyId, keyIdLen, iv, ivLen);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetSubsampleInfo(cencInfo, encryptedBlockCount, skippedBlockCount, firstEncryptedOffset,
  subsampleCount, subsamples);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetMode(cencInfo, DRM_CENC_INFO_KEY_IV_SUBSAMPLES_SET);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetAVBuffer(cencInfo, buffer);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_Destroy(cencInfo);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
  1. 调用OH_VideoDecoder_PushInputBuffer()写入解码码流。

送入输入队列进行解码，以下示例中：

  • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；
  • index：回调函数OnNeedInputBuffer传入的参数，数据队列的索引；
  • size, offset, pts：输入尺寸、偏移量、时间戳等字段信息，获取方式可以参考音视频解封装
  • flags：缓冲区标记的类别，请参考OH_AVCodecBufferFlags
 uint32_t keyIdLen = DRM_KEY_ID_SIZE;
uint8_t keyId[] = {
  0xd4, 0xb2, 0x01, 0xe4, 0x61, 0xc8, 0x98, 0x96,
  0xcf, 0x05, 0x22, 0x39, 0x8d, 0x09, 0xe6, 0x28};
uint32_t ivLen = DRM_KEY_IV_SIZE;
uint8_t iv[] = {
  0xbf, 0x77, 0xed, 0x51, 0x81, 0xde, 0x36, 0x3e,
  0x52, 0xf7, 0x20, 0x4f, 0x72, 0x14, 0xa3, 0x95};
uint32_t encryptedBlockCount = 0;
uint32_t skippedBlockCount = 0;
uint32_t firstEncryptedOffset = 0;
uint32_t subsampleCount = 1;
DrmSubsample subsamples[1] = { {0x10, 0x16} };
OH_AVCencInfo *cencInfo = OH_AVCencInfo_Create();
if (cencInfo == nullptr) {
  // 异常处理
}
OH_AVErrCode errNo = OH_AVCencInfo_SetAlgorithm(cencInfo, DRM_ALG_CENC_AES_CTR);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetKeyIdAndIv(cencInfo, keyId, keyIdLen, iv, ivLen);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetSubsampleInfo(cencInfo, encryptedBlockCount, skippedBlockCount, firstEncryptedOffset,
  subsampleCount, subsamples);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetMode(cencInfo, DRM_CENC_INFO_KEY_IV_SUBSAMPLES_SET);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_SetAVBuffer(cencInfo, buffer);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
errNo = OH_AVCencInfo_Destroy(cencInfo);
if (errNo != AV_ERR_OK) {
  // 异常处理
}
  1. 调用OH_VideoDecoder_RenderOutputBuffer()显示并释放解码帧，或调用OH_VideoDecoder_FreeOutputBuffer()释放解码帧。

以下示例中：

  • index：回调函数OnNewOutputBuffer传入的参数，数据队列的索引。
  • buffer： 回调函数OnNewOutputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针。
// 配置帧数据的输入尺寸、偏移量、时间戳等字段信息
OH_AVCodecBufferAttr info;
info.size = size;
info.offset = offset;
info.pts = pts;
info.flags = flags;
// info信息写入buffer
int32_t ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 送入解码输入队列进行解码，index为对应队列下标
ret = OH_VideoDecoder_PushInputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. （可选）调用OH_VideoDecoder_Flush()刷新解码器。

调用OH_VideoDecoder_Flush()后，解码器仍处于运行态，但会将当前队列清空，将已解码的数据释放。

此时需要调用OH_VideoDecoder_Start()重新开始解码。

  // 刷新解码器videoDec
int32_t ret = OH_VideoDecoder_Flush(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 重新开始解码
ret = OH_VideoDecoder_Start(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}

注意

Flush之后，重新Start时，需要重新传XPS。

重传XPS示例：

// 配置帧数据XPS信息
OH_AVCodecBufferAttr info;
info.flags = AVCODEC_BUFFER_FLAG_CODEC_DATA;
// info信息写入buffer
int32_t ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 将帧数据推送到解码器中，index为对应队列下标
ret = OH_VideoDecoder_PushInputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. （可选）调用OH_VideoDecoder_Reset()重置解码器。

调用OH_VideoDecoder_Reset()后，解码器回到初始化的状态，需要调用OH_VideoDecoder_Configure()、OH_VideoDecoder_SetSurface()重新配置。

// 重置解码器videoDec
int32_t ret = OH_VideoDecoder_Reset(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 重新配置解码器参数
ret = OH_VideoDecoder_Configure(videoDec, format);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// surface模式重新配置Surface，而buffer模式不需要配置Surface
ret = OH_VideoDecoder_SetSurface(videoDec, window);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. （可选）调用OH_VideoDecoder_Stop()停止解码器。
// 终止解码器videoDec
int32_t ret = OH_VideoDecoder_Stop(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. 调用OH_VideoDecoder_Destroy()销毁解码器实例，释放资源。

说明

不能在回调函数中调用；

执行该步骤之后，需要开发者将videoDec指向nullptr，防止野指针导致程序错误。

// 调用OH_VideoDecoder_Destroy，注销解码器
int32_t ret = OH_VideoDecoder_Destroy(videoDec);
videoDec = nullptr;
if (ret != AV_ERR_OK) {
    // 异常处理
}

Buffer模式

参考以下示例代码，开发者可以完成Buffer模式下视频解码的全流程。此处以H.264文件输入，解码成YUV文件为例。

本模块目前仅支持异步模式的数据轮转。

  1. 添加头文件。
#include <multimedia/player_framework/native_avcodec_videodecoder.h>
#include <multimedia/player_framework/native_avcapability.h>
#include <multimedia/player_framework/native_avcodec_base.h>
#include <multimedia/player_framework/native_avformat.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <native_buffer/native_buffer.h>
#include <fstream>

  1. 创建解码器实例对象。

    与surface模式相同，此处不再赘述。

// 通过codecname创建解码器，应用有特殊需求，比如选择支持某种分辨率规格的解码器，可先查询capability，再根据codec name创建解码器。
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false);
const char *name = OH_AVCapability_GetName(capability);
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(name);

// 通过MIME TYPE创建解码器，只能创建系统推荐的特定编解码器
// 涉及创建多路编解码器时，优先创建硬件解码器实例，硬件资源不够时再创建软件解码器实例
// 软/硬解: 创建H264解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
// 硬解: 创建H265解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_HEVC);

  1. 调用OH_VideoDecoder_RegisterCallback()设置回调函数。

    注册回调函数指针集合OH_AVCodecCallback，包括：

    • OH_AVCodecOnError 解码器运行错误；
    • OH_AVCodecOnStreamChanged 码流信息变化，如码流宽、高变化；
    • OH_AVCodecOnNeedInputBuffer 运行过程中需要新的输入数据，即解码器已准备好，可以输入数据；
    • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即解码完成。

    开发者可以通过处理该回调报告的信息，确保解码器正常运转。

    回调函数的具体实现可参考示例工程。

int32_t cropTop = 0;
int32_t cropBottom = 0;
int32_t cropLeft = 0;
int32_t cropRight = 0;
bool isFirstFrame = true;
// 解码异常回调OH_AVCodecOnError实现
static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
{
    // 回调的错误码由用户判断处理
    (void)codec;
    (void)errorCode;
    (void)userData;
}

// 解码数据流变化回调OH_AVCodecOnStreamChanged实现
static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
{
    // 可选, 开发者需要获取视频宽、高、跨距等时可配置
    // 可通过format获取到变化后的视频宽、高、跨距等
    (void)codec;
    (void)userData;
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_WIDTH, width);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_HEIGHT, height);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_STRIDE, widthStride);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_SLICE_HEIGHT, heightStride);
    // 获取裁剪矩形信息可选
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_TOP, cropTop);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_BOTTOM, cropBottom);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_LEFT, cropLeft);
    OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_RIGHT, cropRight);
}

// 解码输入回调OH_AVCodecOnNeedInputBuffer实现
static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{
    // 输入帧buffer对应的index，送入InIndexQueue队列
    // 输入帧的数据buffer送入InBufferQueue队列
    // 数据处理
    // 写入解码码流
}

// 解码输出回调OH_AVCodecOnNewOutputBuffer实现
static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{
    // 可选, 开发者需要获取视频宽、高、跨距等时可配置
    // 完成帧buffer对应的index，送入outIndexQueue队列
    // 完成帧的数据buffer送入outBufferQueue队列
    // 获取视频宽、高、跨距
    if (isFirstFrame) {
        OH_AVFormat *format = OH_VideoDecoder_GetOutputDescription(codec);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_WIDTH, width);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_HEIGHT, height);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_STRIDE, widthStride);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_SLICE_HEIGHT, heightStride);
        // 获取裁剪矩形信息可选
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_TOP, cropTop);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_BOTTOM, cropBottom);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_LEFT, cropLeft);
        OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_RIGHT, cropRight);
        OH_AVFormat_Destroy(format);
        isFirstFrame = false;
    }
    // 数据处理
    // 释放解码帧
}
// 配置异步回调，调用OH_VideoDecoder_RegisterCallback接口
OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
// 配置异步回调
int32_t ret = OH_VideoDecoder_RegisterCallback(videoDec, cb, NULL); // NULL:用户特定数据userData为空 
if (ret != AV_ERR_OK) {
    // 异常处理
}

说明

在回调函数中，对数据队列进行操作时，需要注意多线程同步的问题。

  1. （可选）OH_VideoDecoder_SetDecryptionConfig设置解密配置。当获取到DRM信息(参考音视频解封装开发步骤第3步)后，通过此接口进行解密配置。DRM相关接口详见DRM API文档。此接口需在Prepare前调用。

    添加头文件

#include <multimedia/drm_framework/native_mediakeysystem.h>
#include <multimedia/drm_framework/native_mediakeysession.h>
#include <multimedia/drm_framework/native_drm_err.h>
#include <multimedia/drm_framework/native_drm_common.h>

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_drm.so)

使用示例

// 根据DRM信息创建指定的DRM系统, 以创建"com.wiseplay.drm"为例
MediaKeySystem *system = nullptr;
int32_t ret = OH_MediaKeySystem_Create("com.wiseplay.drm", &system);
if (system == nullptr) {
    printf("create media key system failed");
    return;
}
// 进行DRM授权
// 创建解密会话
MediaKeySession *session = nullptr;
DRM_ContentProtectionLevel contentProtectionLevel = CONTENT_PROTECTION_LEVEL_SW_CRYPTO;
ret = OH_MediaKeySystem_CreateMediaKeySession(system, &contentProtectionLevel, &session);
if (session == nullptr) {
    printf("create media key session failed");
    return;
}
// 获取许可证请求、设置许可证响应等
// 设置解密配置, 即将解密会话、安全视频通路标志设置到解码器中。
bool secureVideoPath = false;
ret = OH_VideoDecoder_SetDecryptionConfig(videoDec, session, secureVideoPath);
  1. 调用OH_VideoDecoder_Configure()配置解码器。

与surface模式相同，此处不再赘述。

OH_AVFormat *format = OH_AVFormat_Create();
// 写入format
OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);
// 配置解码器
int32_t ret = OH_VideoDecoder_Configure(videoDec, format);
if (ret != AV_ERR_OK) {
    // 异常处理
}
OH_AVFormat_Destroy(format);

  1. 调用OH_VideoDecoder_Prepare()解码器就绪。

    该接口将在解码器运行前进行一些数据的准备工作。

int32_t ret = OH_VideoDecoder_Prepare(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. 调用OH_VideoDecoder_Start()启动解码器。
std::string_view inputFilePath = "/*yourpath*.h264";
std::string_view outputFilePath = "/*yourpath*.yuv";
std::unique_ptr<std::ifstream> inputFile = std::make_unique<std::ifstream>();
std::unique_ptr<std::ofstream> outputFile = std::make_unique<std::ofstream>();
inputFile->open(inputFilePath.data(), std::ios::in | std::ios::binary); 
outputFile->open(outputFilePath.data(), std::ios::out | std::ios::binary | std::ios::ate);
// 启动解码器，开始解码
int32_t ret = OH_VideoDecoder_Start(videoDec);
if (ret != AV_ERR_OK) {
    // 异常处理
}

  1. （可选）调用OH_AVCencInfo_SetAVBuffer()，设置cencInfo。

    与surface模式相同，此处不再赘述。

    使用示例

uint32_t keyIdLen = DRM_KEY_ID_SIZE;
uint8_t keyId[] = {
    0xd4, 0xb2, 0x01, 0xe4, 0x61, 0xc8, 0x98, 0x96,
    0xcf, 0x05, 0x22, 0x39, 0x8d, 0x09, 0xe6, 0x28};
uint32_t ivLen = DRM_KEY_IV_SIZE;
uint8_t iv[] = {
    0xbf, 0x77, 0xed, 0x51, 0x81, 0xde, 0x36, 0x3e,
    0x52, 0xf7, 0x20, 0x4f, 0x72, 0x14, 0xa3, 0x95};
uint32_t encryptedBlockCount = 0;
uint32_t skippedBlockCount = 0;
uint32_t firstEncryptedOffset = 0;
uint32_t subsampleCount = 1;
DrmSubsample subsamples[1] = { {0x10, 0x16} };
OH_AVCencInfo *cencInfo = OH_AVCencInfo_Create();
if (cencInfo == nullptr) {
    // 异常处理
}
OH_AVErrCode errNo = OH_AVCencInfo_SetAlgorithm(cencInfo, DRM_ALG_CENC_AES_CTR);
if (errNo != AV_ERR_OK) {
    // 异常处理
}
errNo = OH_AVCencInfo_SetKeyIdAndIv(cencInfo, keyId, keyIdLen, iv, ivLen);
if (errNo != AV_ERR_OK) {
    // 异常处理
}
errNo = OH_AVCencInfo_SetSubsampleInfo(cencInfo, encryptedBlockCount, skippedBlockCount, firstEncryptedOffset,
    subsampleCount, subsamples);
if (errNo != AV_ERR_OK) {
    // 异常处理
}
errNo = OH_AVCencInfo_SetMode(cencInfo, DRM_CENC_INFO_KEY_IV_SUBSAMPLES_SET);
if (errNo != AV_ERR_OK) {
    // 异常处理
}
errNo = OH_AVCencInfo_SetAVBuffer(cencInfo, buffer);
if (errNo != AV_ERR_OK) {
    // 异常处理
}
errNo = OH_AVCencInfo_Destroy(cencInfo);
if (errNo != AV_ERR_OK) {
    // 异常处理
}

  1. 调用OH_VideoDecoder_PushInputBuffer()写入解码码流。

    与surface模式相同，此处不再赘述。

// 配置帧数据的输入尺寸、偏移量、时间戳等字段信息
OH_AVCodecBufferAttr info;
info.size = size;
info.offset = offset;
info.pts = pts;
info.flags = flags;
// info信息写入buffer
ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 送入解码输入队列进行解码，index为对应队列下标
int32_t ret = OH_VideoDecoder_PushInputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {
    // 异常处理
}
  1. 调用OH_VideoDecoder_FreeOutputBuffer()释放解码帧。

以下示例中：

  • index：回调函数OnNewOutputBuffer传入的参数，数据队列的索引。
  • buffer： 回调函数OnNewOutputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针。
  // 获取解码后信息
OH_AVCodecBufferAttr info;
int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {
    // 异常处理
}
// 将解码完成数据data写入到对应输出文件中
outputFile->write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), info.size);
// buffer 模式，释放已完成写入的数据，index为对应buffer队列下标
ret = OH_VideoDecoder_FreeOutputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {
    // 异常处理
}

NV12/NV21图像如果需要依次将Y,U,V三个分量拷贝至另一块Buffer中，以NV12图像为例，按行拷贝示例如下

添加头文件

#include <string.h>

使用示例

struct Rect   // 源内存区域的宽，高
{
    int32_t width;
    int32_t height;
};

struct DstRect // 目标内存区域的宽，高跨距
{
    int32_t wStride;
    int32_t hStride;
};

struct SrcRect // 源内存区域的宽，高跨距
{
    int32_t wStride;
    int32_t hStride;
};

uint8_t *dst; // 目标内存区域的指针
uint8_t *src; // 源内存区域的指针
struct Rect rect;
struct DstRect dstRect;
struct SrcRect srcRect;
// Y 将Y区域的源数据复制到另一个区域的目标数据中
for (int32_t i = 0; i < rect.height; ++i) {
    //将源数据的一行数据复制到目标数据的一行中
    memcpy_s(dst, src, rect.width);
    // 更新源数据和目标数据的指针，进行下一行的复制。每更新一次源数据和目标数据的指针都向下移动一个wStride
    dst += dstRect.wStride;
    src += srcRect.wStride;
}
// padding
// 更新源数据和目标数据的指针，指针都向下移动一个padding
dst += (dstRect.hStride - rect.height) * dstRect.wStride;
src += (srcRect.hStride - rect.height) * srcRect.wStride;
rect.height >>= 1;
// UV 将UV区域的源数据复制到另一个区域的目标数据中
for (int32_t i = 0; i < rect.height; ++i) {
    memcpy_s(dst, src, rect.width);
    dst += dstRect.wStride;
    src += srcRect.wStride;
}

硬件解码在处理buffer数据时（释放数据前），输出回调用户收到的AVbuffer是宽高对齐后的图像数据。

一般需要获取数据的宽高、跨距、像素格式来保证解码输出数据被正确的处理。

具体实现请参考：Buffer模式的步骤3-调用OH_VideoDecoder_RegisterCallback()设置回调函数来获取数据的宽高、跨距、像素格式。

后续流程（包括刷新解码器、重置解码器、停止解码器、销毁解码器）与Surface模式基本一致，请参考Surface模式的步骤14-17。

写在最后

有很多小伙伴不知道学习哪些鸿蒙开发技术？不知道需要重点掌握哪些鸿蒙应用开发知识点？而且学习时频繁踩坑，最终浪费大量时间。所以有一份实用的鸿蒙（HarmonyOS NEXT）文档用来跟着学习是非常有必要的。

希望这一份鸿蒙学习文档能够给大家带来帮助，有需要的小伙伴自行领取，限时开源，先到先得~无套路领取！！

如果你是一名有经验的资深Android移动开发、Java开发、前端开发、对鸿蒙感兴趣以及转行人员，可以直接领取这份资料

请点击→纯血版全套鸿蒙HarmonyOS学习文档

鸿蒙（HarmonyOS NEXT）5.0最新学习路线

在这里插入图片描述

路线图适合人群：

IT开发人员：想要拓展职业边界
零基础小白：鸿蒙爱好者，希望从0到1学习，增加一项技能。
技术提升/进阶跳槽：发展瓶颈期，提升职场竞争力，快速掌握鸿蒙技术

获取以上完整版高清学习路线，请点击→纯血版全套鸿蒙HarmonyOS学习文档

《鸿蒙 (HarmonyOS)开发入门教学视频》

在这里插入图片描述

《鸿蒙生态应用开发V3.0白皮书》

在这里插入图片描述

《鸿蒙 (OpenHarmony)开发基础到实战手册》

OpenHarmony北向、南向开发环境搭建

在这里插入图片描述

《鸿蒙开发基础》

●ArkTS语言
●安装DevEco Studio
●运用你的第一个ArkTS应用
●ArkUI声明式UI开发
.……
在这里插入图片描述

《鸿蒙开发进阶》

●Stage模型入门
●网络管理
●数据管理
●电话服务
●分布式应用开发
●通知与窗口管理
●多媒体技术
●安全技能
●任务管理
●WebGL
●国际化开发
●应用测试
●DFX面向未来设计
●鸿蒙系统移植和裁剪定制
……
在这里插入图片描述

《鸿蒙进阶实战》

●ArkTS实践
●UIAbility应用
●网络案例
……
在这里插入图片描述

获取以上完整鸿蒙HarmonyOS学习文档，请点击→纯血版全套鸿蒙HarmonyOS学习文档

在这里插入图片描述

代码改变世界996
关注
专栏目录
鸿蒙开源全场景应用开发——视频编解码
VincenZsw的博客
09-09 1323
背景 面对鸿蒙这一全新的生态，广大消费者在积极尝鲜的同时，家中不可避免会出现安卓设备和鸿蒙设备并存的现象，短期内可能不会形成全鸿蒙的生态环境。因此，在未来的一段时间内，鸿蒙设备和安卓设备共存的现象会比较普遍。那么为了给用户带来更加流畅的全场景体验，鸿蒙和安卓设备之间的交互就显得格外重要。 家庭合影美颜相机 家庭合影美颜相机应用是同时基于鸿蒙和安卓设备的应用，可以实现鸿蒙大屏借助安卓手机的能力进行美颜拍照的功能，其中安卓端使用了GitHub上的开源项目。具体来说，此应用能...
OpenHarmony实战开发-如何根据图片设置自适应的背景色。
m0_70749039的博客
04-18 759
本示例将介绍如何根据图片设置自适应的背景色。
视频解码工具
02-20
可以优化MPC-HC，使用该工具可以加快MPC-HC的字幕加载进程
视频解码基础知识
suwenqiang2011的专栏
12-14 1226
一   基础篇 1.1   图形、图像和视频 图形（graphic）：和图像与视频不同，有一种说法是图形就是自然界的客观世界不存在的图案。对于计算机中的图形研究，有专门的计算机图形学，主要的研究对象是点、线、面等抽象事物。目前所谓的计算机显卡3D技术支持，主要就是图形技术相关的范畴。关于图形方面的开发，好象OpenGL是其中比较有名的3D图形库。 图像（image）：和图形相反，图像可以
视频解码包
06-22
视频解码包 视频解码包 视频解码包 视频解码包 视频解码包
视频解码.rar
06-12
解码多种格式的视频，里面附有代码以及所需要的jar。能将MP4转换MP3格式等等。
视频解码与播放
08-08
很好的视频解码器，支持多种视频在线或离线播放。操作方便，功能全备。
harmonyos应用开发者高级.pdf
07-06
- 媒体处理: 视频流传输、音频编解码等。 - 并发编程: 如多线程管理、异步操作等。 - 分布式计算: 了解分布式系统的原理及其在实际开发中的应用。 - 多设备协同: 实现设备间的交互和资源共享。 **1.3 高级应用...
OpenHarmony实战开发-提升应用冷启动速度。
2401_82546228的博客
04-22 1316
应用启动时延是影响用户体验的关键要素。当应用启动时，后台没有该应用的进程，这时系统会重新创建一个新的进程分配给该应用， 这个启动方式就叫做冷启动。
OpenHarmony实战开发-PixelMap深拷贝案例。
2401_82546228的博客
04-18 763
在图片开发过程中经常会涉及到PixelMap的深拷贝，本例通过使用PixelMap的readPixelsToBuffer方法来实现深拷贝。在创建源PixelMap的时候，需要将解码参数设置为BGRA_8888，而在深拷贝创建目标PixelMap的时候需要将解码参数设置为RGBA_8888。详见CopyObj.ets。
各种视频格式，各种编解码视频大集合
11-20
视频格式大全，h264\h265\VP8\DVD编解码视频，一次下载满足你的需要
视频流解码方法
qq_43585355的博客
08-21 549
视频流解码方法
HarmonyOS实战开发-音视频编解码、获取支持的编解码能力
m0_70749039的博客
05-11 495
不同设备支持的编解码能力存在差异，开发者在调用编解码或配置编解码器前，需要先查询当前系统支持的编解码器规格。
视频编解码相关
sun007700的专栏
07-09 307
视频解码性能对比】opencv + cuvid + gpu vs. ffmpeg + cpu https://blog.csdn.net/weixin_34128534/article/details/93887264
视频编码解码基本知识
热门推荐
ZONGXP的博客
05-24 1万+
最近在做摄像头视频的数据处理，得到了网络相机的.h264格式的数据，需要做解码处理，由于对视频的编码解码原理不太了解，因此查找资料总结一下
使用FFmpeg做视频解码
yinshipin007的博客
07-06 668
音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。
视频的编解码格式
最新发布
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
10-13 1554
有时却不一致，例如MKV是一种能容纳多种不同类型编码的视频、音频及字幕流的“万能”视频封装格式，同样以mkv为扩展名的视频文件，可能封装了不同编码格式的视频数据。​ 由于视频编码的主要任务是缩小视频文件的存储空间，因此，视频编码又称视频压缩编码或视频压缩，简单地说就是去除视频数据中的冗余信息。，H.265旨在在有限带宽下传输更高质量的网络视频，与H.264相比，同样的视觉质量的视频只占用一半的空间，仅需原先的一半带宽即可播放相同质量的视频，或者具有相同文件大小和比特率的视频可能看起来更好。
视频编解码基础
hanhan的博客
05-05 2224
文章目录前戏编解码技术流程主流视频编码标准视频传输面临的问题视频传输差错控制视频传输Qos质量保证参数人类视觉系统HVS 以及相应编码措施正餐编码层次与码流结构PB帧编码IBBP序列编码结构图像编码结构条带编码结构宏块编码结构块编码结构预测技术码率控制实例H264 前戏 编解码技术流程 1、预测： 去除空间冗余、时间冗余； 分为帧内预测、帧间预测 2、变换： 从时域变换到频域，去除相邻数据之间的相关性，去除空间冗余，分为：DCT余弦变换、小波变换 3、量化： 去除视觉冗余，通过降低图像质量提高压缩比 4.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值