鸿蒙（API 12 Beta3版）【获取支持的编解码能力】 音视频编码

最新推荐文章于 2024-09-10 17:14:19 发布
最新推荐文章于 2024-09-10 17:14:19 发布
阅读量1.2k 收藏 13
点赞数 30
分类专栏： 鸿蒙开发 文章标签： 音视频 harmonyos 媒体 鸿蒙开发 openharmony 鸿蒙 编解码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_70748845/article/details/141060301
版权

因来源不同、编解码器协议不同以及设备在编解码能力部署上的不同，在不同设备上开发者可用的编解码器及其能力是有差异的。

为确保编解码行为符合预期，开发者应提前通过音视频编解码能力系列接口查询系统支持的音视频编解码器及其关联的能力参数，找到符合开发场景需求的编解码器，并正确配置编解码参数。

通用开发指导

  1. 在CMake脚本中链接动态库。
target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
  1. 添加头文件。
#include <multimedia/player_framework/native_avcapability.h>
#include <multimedia/player_framework/native_avcodec_base.h>
  1. 获得音视频编解码能力实例。

支持两种获取音视频编解码能力实例的方式：

方式一：通过OH_AVCodec_GetCapability获取框架推荐的音视频编解码器能力实例。与OH_XXX_CreateByMime系列接口框架推荐策略一致。

// 获取系统推荐的音频AAC解码器能力实例
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_AAC, false);

方式二：通过OH_AVCodec_GetCapabilityByCategory获取指定软件或硬件的编解码能力实例。

// 获取指定硬件的视频AVC编码器能力实例
OH_AVCapability *capability = OH_AVCodec_GetCapabilityByCategory(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true, HARDWARE);

若获取能力实例成功，则可继续向下执行。开发者无需关注该实例的回收问题，框架会自行回收。

  1. 按需调用相应查询接口，详细的API说明请参考[API文档]。

场景化开发指导

基于开发者可能遇到特定场景，举例说明能力查询接口使用方法。

创建指定名称的编解码器

如系统内存在相同MIME类型的多个编码器或多个解码器。使用OH_XXX_CreateByMime系列接口只能创建系统推荐的特定编解码器。若需创建其他编解码器，开发者可先获取编解码器名称，再通过OH_XXX_CreateByName系列接口创建指定名称的编解码器。

接口功能描述
OH_AVCapability_GetName获取能力实例对应编解码器的名称

H.264软件解码器和H.264硬件解码器共存时，创建H.264软件解码器示例：

// 1. 获取H.264软件解码器能力实例
OH_AVCapability *capability = OH_AVCodec_GetCapabilityByCategory(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false, SOFTWARE);
if (capability != nullptr) {
   // 2. 获取H.264软件解码器名称
   const char *codecName = OH_AVCapability_GetName(capability);
   // 3. 创建H.264软件解码器实例
   OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(codecName);
}

针对软硬件类别差异化配置编解码器参数

软件编解码器和硬件编解码器定义如下：

  • 软件编解码器: 指在CPU上进行编解码工作的编解码器，能力可灵活迭代，相比硬件编解码器具有更好的兼容性，更好的协议和规格扩展能力。
  • 硬件编解码器: 指在专有硬件上进行编解码工作的编解码器，其特点是已在硬件平台硬化，能力随硬件平台迭代。相比软件编解码器具有更好的功耗、耗时和吞吐表现，同时能降低CPU负载。

基于上述软件编解码器和硬件编解码器的特点，在硬件编解码器满足要求的时候，优先使用硬件编解码器，否则使用软件编解码器。开发者可基于软件还是硬件类别差异化配置编解码参数。

接口功能描述
OH_AVCapability_IsHardware确认能力实例对应的编解码器是否是硬件的

视频编码，软硬件差异化配置帧率示例：

// 1. 确认推荐的H.264编码器的软硬件类别
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
bool isHardward = OH_AVCapability_IsHardware(capability);
// 2. 基于软硬件类别差异化配置
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
OH_AVFormat *format = OH_AVFormat_CreateVideoFormat(OH_AVCODEC_MIMETYPE_VIDEO_AVC, 1920, 1080);
double frameRate = isHardward ? 60.0 : 30.0;
if (!OH_AVFormat_SetDoubleValue(format, OH_MD_KEY_FRAME_RATE, frameRate)) {
   // 异常处理
}
if (OH_VideoEncoder_Configure(videoEnc, format) != AV_ERR_OK) {
   // 异常处理
}
OH_AVFormat_Destroy(format);

创建多路编解码器

部分业务场景涉及创建多路编解码器，基于各类资源的限制，某一编解码器的实例数是有限的，不能无限制创建。

接口功能描述
OH_AVCapability_GetMaxSupportedInstances获取能力实例对应编解码器可同时运行的最大实例数，实际能成功创建的数目还受系统其他资源的约束

优先创建硬件解码器实例，不够时再创建软件解码器实例，示例如下：

constexpr int32_t NEEDED_VDEC_NUM = 8;
// 1. 创建硬件解码器实例
OH_AVCapability *capHW = OH_AVCodec_GetCapabilityByCategory(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false, HARDWARE);
int32_t vDecNumHW = min(OH_AVCapability_GetMaxSupportedInstances(capHW), NEEDED_VDEC_NUM);
int32_t createdVDecNum = 0;
for (int i = 0; i < vDecNumHW; i++) {
   OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(OH_AVCapability_GetName(capHW));
   if (videoDec != nullptr) {
      // 维护在videoDecVector中
      createdVDecNum++;
   }
}
if (createdVDecNum < NEEDED_VDEC_NUM) {
   // 2. 不够时，创建软件解码器实例
   OH_AVCapability *capSW = OH_AVCodec_GetCapabilityByCategory(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false, SOFTWARE);
   int32_t vDecNumSW = min(OH_AVCapability_GetMaxSupportedInstances(capSW), NEEDED_VDEC_NUM - createdVDecNum);
   for (int i = 0; i < vDecNumSW; i++) {
      OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(OH_AVCapability_GetName(capSW));
      if (videoDec != nullptr) {
         // 维护在videoDecVector中
         createdVDecNum++;
      }
   }
}

控制编码质量

当前提供三种码控模式供开发者选用，分别是恒定码率（CBR）码控模式、动态码率（VBR）码控模式，以及恒定质量（CQ）码控模式。对于CBR和VBR码控模式，编码质量由码率参数决定。对于CQ码控模式，编码质量由质量参数决定。

接口功能描述
OH_AVCapability_IsEncoderBitrateModeSupported确认当前编解码器是否支持给定的码控模式
OH_AVCapability_GetEncoderBitrateRange获取当前编解码器支持的码率范围，在CBR和VBR码控模式下使用
OH_AVCapability_GetEncoderQualityRange获取当前编解码器支持的质量范围，在CQ码控模式下使用

CBR和VBR码控模式示例如下：

OH_BitrateMode bitrateMode = BITRATE_MODE_CBR;
int32_t bitrate = 3000000;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
if (capability == nullptr) {
   // 异常处理
}
// 1. 确认待配置码控模式是否支持
bool isSupported = OH_AVCapability_IsEncoderBitrateModeSupported(capability, bitrateMode);
if (!isSupported) {
   // 异常处理
}
// 2. 获取码率范围，判断待配置码率参数是否在范围内
OH_AVRange bitrateRange = {-1, -1};
int32_t ret = OH_AVCapability_GetEncoderBitrateRange(capability, &bitrateRange);
if (ret != AV_ERR_OK || bitrateRange.maxVal <= 0) {
   // 异常处理
}
if (bitrate > bitrateRange.maxVal || bitrate < bitrateRange.minVal) {
   // 3.（可选）调整待配置码率参数
}
// 4. 配置编码参数
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
OH_AVFormat *format = OH_AVFormat_CreateVideoFormat(OH_AVCODEC_MIMETYPE_VIDEO_AVC, 1920, 1080);
if (OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENCODE_BITRATE_MODE, bitrateMode) &&
   OH_AVFormat_SetLongValue(format, OH_MD_KEY_BITRATE, static_cast<int64_t>(bitrate)) == false) {
   // 异常处理
}
if (OH_VideoEncoder_Configure(videoEnc, format) != AV_ERR_OK) {
   // 异常处理
}
OH_AVFormat_Destroy(format);

CQ码控模式示例如下：

OH_BitrateMode bitrateMode = BITRATE_MODE_CQ;
int32_t quality = 0;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
if (capability == nullptr) {
   // 异常处理
}
// 1. 确认待配置码控模式是否支持
bool isSupported = OH_AVCapability_IsEncoderBitrateModeSupported(capability, bitrateMode);
if (!isSupported) {
   // 异常处理
}
// 2. 获取质量范围，判断待配置质量参数是否在范围内
OH_AVRange qualityRange = {-1, -1};
int32_t ret = OH_AVCapability_GetEncoderQualityRange(capability, &qualityRange);
if (ret != AV_ERR_OK || qualityRange.maxVal < 0) {
   // 异常处理
}
if (quality > qualityRange.maxVal || quality < qualityRange.minVal) {
   // 3.（可选）调整待配置质量参数
}
// 5. 配置编码参数
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
OH_AVFormat *format = OH_AVFormat_CreateVideoFormat(OH_AVCODEC_MIMETYPE_VIDEO_AVC, 1920, 1080);
if (OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENCODE_BITRATE_MODE, bitrateMode) &&
   OH_AVFormat_SetIntValue(format, OH_MD_KEY_QUALITY, quality) == false) {
   // 异常处理
}
if (OH_VideoEncoder_Configure(videoEnc, format) != AV_ERR_OK) {
   // 异常处理
}
OH_AVFormat_Destroy(format);

查询编解码器支持复杂度范围

复杂度等级决定了编解码器使用的工具的数目，仅部分编解码器支持。

接口功能描述
OH_AVCapability_GetEncoderComplexityRange获取当前编解码器支持的复杂度范围
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_AAC, true);
if (capability == nullptr) {
   // 异常处理
}
// 确认支持的编码复杂度范围
OH_AVRange complexityRange = {-1, -1};
int32_t ret = OH_AVCapability_GetEncoderComplexityRange(capability, &complexityRange);

设置正确的音频编解码参数

在音频编解码场景中，有采样率、通道数以及码率（仅音频编码）等参数需要查询后设置。

接口功能描述
OH_AVCapability_GetAudioSupportedSampleRates获取当前音频编解码器支持的采样率范围
OH_AVCapability_GetAudioChannelCountRange获取当前音频编解码器支持的通道数范围
OH_AVCapability_GetEncoderBitrateRange获取当前编码器支持的码率范围

音频编码场景，确认并设置正确的编码的参数，示例如下：

int32_t sampleRate = 44100;
int32_t channelCount = 2;
int32_t bitrate = 261000;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_AAC, true);
if (capability == nullptr) {
   // 异常处理
}
// 1. 确认待配置采样率是否支持
const int32_t *sampleRates = nullptr;
uint32_t sampleRateNum = -1;
int32_t ret = OH_AVCapability_GetAudioSupportedSampleRates(capability, &sampleRates, &sampleRateNum);
if (ret != AV_ERR_OK || sampleRates == nullptr || sampleRateNum <= 0) {
   // 异常处理
}
bool isMatched = false;
for (int i = 0; i < sampleRateNum; i++) {
   if (sampleRates[i] == sampleRate) {
      isMatched = true;
   }
}
if (!isMatched) {
   // 2.（可选）调整待配置采样率
}
// 3. 获取通道数范围，判断待配置通道数参数是否在范围内
OH_AVRange channelRange = {-1, -1};
ret = OH_AVCapability_GetAudioChannelCountRange(capability, &channelRange);
if (ret != AV_ERR_OK || channelRange.maxVal <= 0) {
   // 异常处理
}
if (channelCount > channelRange.maxVal || channelCount < channelRange.minVal ) {
   // 4.（可选）调整待配置通道数
}
// 5. 获取码率范围，判断待配置码率参数是否在范围内
OH_AVRange bitrateRange = {-1, -1};
ret = OH_AVCapability_GetEncoderBitrateRange(capability, &bitrateRange);
if (ret != AV_ERR_OK || bitrateRange.maxVal <= 0) {
   // 异常处理
}
if (bitrate > bitrateRange.maxVal || bitrate < bitrateRange.minVal ) {
   // 7.（可选）调整待配置码率值
}
// 8. 配置编码参数
OH_AVCodec *audioEnc = OH_AudioEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_AUDIO_AAC);
OH_AVFormat *format = OH_AVFormat_Create();
if (OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_SAMPLE_RATE, sampleRate) &&
   OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_CHANNEL_COUNT, channelCount) &&
   OH_AVFormat_SetLongValue(format, OH_MD_KEY_BITRATE, static_cast<int64_t>(bitrate)) == false) {
   // 异常处理
}
if (OH_AudioEncoder_Configure(audioEnc, format) != AV_ERR_OK) {
   // 异常处理
}
OH_AVFormat_Destroy(format);

查询编解码档次和级别支持情况

编解码标准由很多编码工具构成，能应对多种编码场景。对于特定应用场景，并非需要所有的工具，编解码标准按档次确定多种编码工具的开启与关闭情况。以H.264为例，存在基本档次、主档次和高档次，参考OH_AVCProfile。

级别是对编解码器所需的处理能力和储存空间的划分。以H.264为例，存在1到6.2的20个级别，参考OH_AVCLevel。

接口功能描述
OH_AVCapability_GetSupportedProfiles获取当前编解码器支持的档次
OH_AVCapability_GetSupportedLevelsForProfile获取当前编解码器在给定档次的情况下支持的等级信息
OH_AVCapability_AreProfileAndLevelSupported确认当前编解码器是否支持特定的档次和等级组合

确认待配置档次是否支持，并查询能支持的级别，示例如下：

OH_AVCProfile profile = AVC_PROFILE_MAIN;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
if (capability == nullptr) {
   // 异常处理
}
// 1. 确认待配置档次是否支持
const int32_t *profiles = nullptr;
uint32_t profileNum = -1;
int32_t ret = OH_AVCapability_GetSupportedProfiles(capability, &profiles, &profileNum);
if (ret != AV_ERR_OK || profiles == nullptr || profileNum <= 0) {
   // 异常处理
}
bool isMatched = false;
for (int i = 0; i < profileNum; i++) {
   if (profiles[i] == profile) {
      isMatched = true;
   }
}
// 2. 查询待配置档次能支持的级别范围
const int32_t *levels = nullptr;
uint32_t levelNum = -1;
ret = OH_AVCapability_GetSupportedLevelsForProfile(capability, profile, &levels, &levelNum);
if (ret != AV_ERR_OK || levels == nullptr || levelNum <= 0) {
   // 异常处理
}
OH_AVCLevel maxLevel = static_cast<OH_AVCLevel>(levels[levelNum -1]);
// 3.（可选）基于支持的最大级别做业务逻辑区分
switch (maxLevel) {
   case AVC_LEVEL_31:
      // ...
      break;
   case AVC_LEVEL_51:
      // ...
      break;
   default:
      // ...
}
// 4. 配置档次参数
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
OH_AVFormat *format = OH_AVFormat_CreateVideoFormat(OH_AVCODEC_MIMETYPE_VIDEO_AVC, 1920, 1080);
if (!OH_AVFormat_SetIntValue(format, OH_MD_KEY_PROFILE, profile)) {
   // 异常处理
}
if (OH_VideoEncoder_Configure(videoEnc, format) != AV_ERR_OK) {
   // 异常处理
}
OH_AVFormat_Destroy(format);

已知需要的编码档次和级别组合，直接查询支持情况示例如下：

// 1. 获取H.264编码器能力实例
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
if (capability == nullptr) {
   // 异常处理
}
// 2. 查询编码档次和级别是否支持
bool isSupported = OH_AVCapability_AreProfileAndLevelSupported(capability, AVC_PROFILE_MAIN, AVC_LEVEL_51);

设置正确的视频宽高

视频编解码器对宽高存在对齐约束，如主流编解码器默认编解码像素格式为YUV420系列中的，会对UV分量下采样，在此情况下视频编解码的宽高至少要按2对齐。此外还有其他因素可能导致更加严格的对齐约束。

视频编解码的宽高不仅会受帧级编解码能力限制，同时也会受协议中级别对帧级能力的限制。以H.264为例，AVC_LEVEL_51限定最大每帧宏块数目为36864。

给定图像宽和高，求最大帧率的公式如下, 其中 M a x M B s P e r F r a m e L e v e l L i m i t s MaxMBsPerFrameLevelLimits MaxMBsPerFrameLevelLimits是编解码器能支持的最大级别在协议中限定的最大每帧宏块数, M a x M B s P e r F r a m e S u b m i t MaxMBsPerFrameSubmit MaxMBsPerFrameSubmit是编解码器上报能支持的最大每帧宏块数，实际能力取两者交集。

$$

MaxMBsPerFrame = \min(MaxMBsPerFrameLevelLimits, MaxMBsPerFrameSubmit) \

MBWidth = MBHeight = 16 \

maxWidth = \lfloor MaxMBsPerFrame \div \lceil \frac{height}{MBHeight} \rceil \rfloor \times MBWidth

$$

接口功能描述
OH_AVCapability_GetVideoWidthAlignment获取当前视频编解码器的宽对齐
OH_AVCapability_GetVideoHeightAlignment确认当前视频编解码器的高对齐
OH_AVCapability_GetVideoWidthRange获取当前视频编解码器支持的宽的范围
OH_AVCapability_GetVideoHeightRange获取当前视频编解码器支持的高的范围
OH_AVCapability_GetVideoWidthRangeForHeight获取当前视频编解码器在给定高情况下的宽的范围
OH_AVCapability_GetVideoHeightRangeForWidth获取当前视频编解码器在给定宽情况下的高的范围
OH_AVCapability_IsVideoSizeSupported确认当前视频编解码器是否支持给定的宽高组合

已知视频高和视频宽，校验是否支持，示例如下：

int32_t width = 1920;
int32_t height = 1080;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
// 1. 确认视频宽高是否支持
bool isSupported = OH_AVCapability_IsVideoSizeSupported(capability, width, height);
if (!isSupported) {
   // 2. (可选) 按已知视频高或已知视频宽查询详细限制，并调整
}

若遇到基于已知视频高和视频宽校验不支持或配置失败，可用下列示意的多种方式尝试找到正确的视频宽高范围。

已知视频宽，找到正确的尺寸配置，示例如下：

int32_t width = 1920;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
// 1. 确认视频宽符合宽对齐要求
int32_t widthAlignment = 0;
int32_t ret = OH_AVCapability_GetVideoWidthAlignment(capability, &widthAlignment);
if (ret != AV_ERR_OK || widthAlignment <= 0) {
   // 异常处理
} else if (width % widthAlignment != 0) {
   // 2. (可选) 对齐视频宽
   width = (width + widthAlignment - 1) / widthAlignment * widthAlignment;
}
// 3. 确认视频宽处在可支持宽范围内
OH_AVRange widthRange = {-1, -1};
ret = OH_AVCapability_GetVideoWidthRange(capability, &widthRange);
if (ret != AV_ERR_OK || widthRange.maxVal <= 0) {
   // 异常处理
} else if (width < widthRange.minVal || width > widthRange.maxVal) {
   // 4. (可选) 调整视频宽
   width = min(max(width, widthRange.minVal), widthRange.maxVal);
}
// 5. 基于视频宽，获取可选视频高的范围
OH_AVRange heightRange = {-1, -1};
ret = OH_AVCapability_GetVideoHeightRangeForWidth(capability, width, &heightRange);
if (ret != AV_ERR_OK || heightRange.maxVal <= 0) {
   // 异常处理
}
// 6. 从可选高度范围中挑选合适的高度配置

已知视频高，找到正确的尺寸配置，示例如下：

int32_t height = 1080;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
// 1. 确认视频高符合高对齐要求
int32_t heightAlignment = 0;
int32_t ret = OH_AVCapability_GetVideoHeightAlignment(capability, &heightAlignment);
if (ret != AV_ERR_OK || heightAlignment <= 0) {
   // 异常处理
} else if (height % heightAlignment != 0) {
   // 2. (可选) 对齐视频高
   height = (height + heightAlignment - 1) / heightAlignment * heightAlignment;
}
// 3. 确认视频高处在可支持高范围内
OH_AVRange heightRange = {-1, -1};
ret = OH_AVCapability_GetVideoHeightRange(capability, &heightRange);
if (ret != AV_ERR_OK || heightRange.maxVal <= 0) {
   // 异常处理
} else if (height < heightRange.minVal || height > heightRange.maxVal) {
   // 4. (可选) 调整视频高
   height = min(max(height, heightRange.minVal), heightRange.maxVal);
}
// 5. 基于视频高，获取可选视频宽的范围
OH_AVRange widthRange = {-1, -1};
ret = OH_AVCapability_GetVideoWidthRangeForHeight(capability, height, &widthRange);
if (ret != AV_ERR_OK || widthRange.maxVal <= 0) {
   // 异常处理
}
// 6. 从可选宽度范围中挑选合适的宽度配置

设置正确的视频帧率

视频编解码的帧率不仅会受编解码器秒级编解码能力限制，同时也会受协议中级别对秒级能力的限制。以H.264为例，AVC_LEVEL_51限定最大每秒宏块数目为983040。

给定图像宽和高，求最大帧率的公式如下, 其中 M a x M B s P e r S e c o n d L e v e l L i m i t s MaxMBsPerSecondLevelLimits MaxMBsPerSecondLevelLimits是编解码器能支持的最大级别在协议中限定的最大每秒宏块数, M a x M B s P e r S e c o n d S u b m i t MaxMBsPerSecondSubmit MaxMBsPerSecondSubmit是编解码器上报能支持的最大每秒宏块数，实际能力取两者交集。

$$

MaxMBsPerSecond = \min(MaxMBsPerSecondLevelLimits, MaxMBsPerSecondSubmit) \

MBWidth = MBHeight = 16 \

maxFrameRate = MaxMBsPerSecond \div (\lceil{\frac{width}{MBWidth}} \rceil \times \lceil \frac{height}{MBHeight} \rceil)

$$

接口功能描述
OH_AVCapability_GetVideoFrameRateRange获取当前视频编解码器支持的帧率的范围
OH_AVCapability_GetVideoFrameRateRangeForSize获取当前视频编解码器在给定图像尺寸情况下的帧率的范围
OH_AVCapability_AreVideoSizeAndFrameRateSupported检查视频编解码器是否支持视频大小和帧率的特定组合

有需求的帧率目标，确认帧率是否在可选范围内，示例如下：

int32_t frameRate = 120;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
// 1. 获取支持的帧率范围
OH_AVRange frameRateRange = {-1, -1};
int32_t ret = OH_AVCapability_GetVideoFrameRateRange(capability, &frameRateRange);
if (ret != AV_ERR_OK || frameRateRange.maxVal <= 0) {
   // 异常处理
}
// 2. 判断是否在可选帧率范围内
bool isSupported = frameRate >= frameRateRange.minVal && frameRate <= frameRateRange.maxVal;

基于待配置的尺寸找到合适的帧率配置，示例代码如下：

constexpr int32_t width = 1920;
constexpr int32_t height = 1080;
int32_t frameRate = 120;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
// 1. 确认待配置尺寸是否能达到理想帧率
bool isSupported = OH_AVCapability_AreVideoSizeAndFrameRateSupported(capability, width, height, frameRate);
if (!isSupported) {
   // 2. 基于待配置视频尺寸，查询支持的帧率范围，并基于查询到的帧率调整待配置帧率
   OH_AVRange frameRateRange = {-1, -1};
   int32_t ret = OH_AVCapability_GetVideoFrameRateRangeForSize(capability, width, height, &frameRateRange);
   if (ret != AV_ERR_OK || frameRateRange.maxVal <= 0) {
      // 异常处理
   }
   frameRate = min(max(frameRate, frameRateRange.minVal), frameRateRange.maxVal);
}

// 3. 配置尺寸和帧率参数
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
OH_AVFormat *format = OH_AVFormat_CreateVideoFormat(OH_AVCODEC_MIMETYPE_VIDEO_AVC, width, height);
if (!OH_AVFormat_SetIntValue(format, OH_MD_KEY_FRAME_RATE, frameRate)) {
   // 异常处理
}
if (OH_VideoEncoder_Configure(videoEnc, format) != AV_ERR_OK) {
   // 异常处理
}
OH_AVFormat_Destroy(format);

设置正确的视频像素格式信息

视频像素格式指示的编码输入图像或解码输出图像的像素排布方式，参考OH_AVPixelFormat。

接口功能描述
OH_AVCapability_GetVideoSupportedPixelFormats获取当前视频编解码器支持的像素格式
constexpr OH_AVPixelFormat DEFAULT_PIXELFORMAT = AV_PIXEL_FORMAT_NV12;
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
if (capability == nullptr) {
   // 异常处理
}
// 1. 获取当前视频编解码器支持的像素格式
const int32_t *pixFormats = nullptr;
uint32_t pixFormatNum = -1;
int32_t ret = OH_AVCapability_GetVideoSupportedPixelFormats(capability, &pixFormats, &pixFormatNum);
if (ret != AV_ERR_OK || pixFormats == nullptr || pixFormatNum <= 0) {
   // 异常处理
}
// 2. 校验是否支持对应像素格式
bool isMatched = false;
for (int i = 0; i < pixFormatNum; i++) {
   if (pixFormats[i] == DEFAULT_PIXELFORMAT) {
      isMatched = true;
   }
}
if (!isMatched) {
   // 3. 替换其他像素格式输入或选择其他编解码器
}

查询编解码特性支持情况并获取特性属性信息

编解码特性是指仅在特定编解码场景中使用的可选特性，参考OH_AVCapabilityFeature。

接口功能描述
OH_AVCapability_IsFeatureSupported确认当前编解码器是否支持给定的特性
OH_AVCapability_GetFeatureProperties获取当前编码器支持的指定特性的属性，仅部分特性存在属性信息

查询H.264编码器是否支持长期参考帧特性示例如下：

constexpr int32_t NEEDED_LTR_NUM = 2;
OH_AVFormat *format = OH_AVFormat_CreateVideoFormat(OH_AVCODEC_MIMETYPE_VIDEO_AVC, 1920, 1080);
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
if (capability == nullptr) {
   // 异常处理
}
// 1. 查询是否支持长期参考帧特性
bool isSupported = OH_AVCapability_IsFeatureSupported(capability,VIDEO_ENCODER_LONG_TERM_REFERENCE);
if (isSupported) {
   // 2. 查询支持的长期参考帧个数
   OH_AVFormat *properties = OH_AVCapability_GetFeatureProperties(capability, VIDEO_ENCODER_LONG_TERM_REFERENCE);
   int32_t maxLTRCount = -1;
   int32_t ret = OH_AVFormat_GetIntValue(properties, OH_FEATURE_PROPERTY_KEY_VIDEO_ENCODER_MAX_LTR_FRAME_COUNT, &maxLTRCount);
   if (ret == AV_ERR_OK && maxLTRCount >= NEEDED_MIN_LTR_NUM) {
      if (!OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENCODER_LTR_FRAME_COUNT, NEEDED_LTR_NUM)) {
         // 异常处理
      }
   }
}
// 3. 编码器创建和配置
OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
if (OH_VideoEncoder_Configure(videoEnc, format) != AV_ERR_OK) {
   // 异常处理
}

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点

如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

在这里插入图片描述

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说，我们直接看详细鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，帮助大家在技术的道路上更进一步。

  • 《鸿蒙 (OpenHarmony)开发学习视频》
  • 《鸿蒙生态应用开发V2.0白皮书》
  • 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  • OpenHarmony北向、南向开发环境搭建
  • 《鸿蒙开发基础》
  • 《鸿蒙开发进阶》
  • 《鸿蒙开发实战》

在这里插入图片描述

总结

鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用需要开发，也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长，学习鸿蒙势在必行！ 自↓↓↓拿

移动开发技术栈
关注
专栏目录
实时音频编解码之九 CELP编码
shichaog的专栏
05-14 1508
本文谢绝任何形式转载，谢谢。 第二章CELP（code-excited linear prediction） LP编码方法是基于声道滤波模型的建模，激励源是声门或噪声，其有两个限制，其一输入激励信号为白噪声，其二严格区分语音和非语音段，只对语音段使用LPC算法，CELP是基于人发声的源-激励模型，和基于LP的编码相比在这两个方面都有改进，构建激励信号码本使激励信号不再是白噪声，使用长短时估计方法而不再严格区分语音/非语音，长时预测滤波器是针对基频而言的，它只是一个具有长延迟的线性预测器CELP是主流语音编码
鸿蒙（API 12 Beta3版）【音频解码】
鸿蒙的技术博客
08-09 950
开发者可以调用本模块的Native API接口，完成音频解码，即将媒体数据解码为PCM码流。
harmonyOS鸿蒙官网教程-Video组件的使用
移动端开发与最新技术
10-08 3091
在手机、平板或是智慧屏这些终端设备上，媒体功能可以算作是我们最常用的场景之一。无论是实现音频的播放、录制、采集，还是视频的播放、切换、循环，亦或是相机的预览、拍照等功能，媒体组件都是必不可少的。
鸿蒙应用开发学习：使用视频播放(Video)组件播放视频和音频文件
bahamutj的博客
03-09 2986
播放音视频是手机的重要功能之一，近期我学习了在鸿蒙系统应用开发中实现音视频的播放功能，应用中使用到了视频播放(Video)组件，@ohos.file.picker（选择器）。特撰此文分享一下我的学习经历。
鸿蒙媒体开发【基于AVCodec能力的视频编解码】音频和视频
2301_76813281的博客
08-03 1101
本实例基于AVCodec能力，提供基于视频编解码的视频播放和录制的功能。
鸿蒙 next 实现摄像头视频预览&编码（一）
yydounai的博客
08-21 522
第一种，通过摄像头的预览流&录制流来实现，其中预览很简单，直接使用 xcomponent 即可，对于编码，则可以通过创建编码器获取到的 surfaceid 传递给录制流即可。鸿蒙这边的 napi 其实是参考的 nodejs 的，语法基本一致，这里的大致逻辑就是调用 Recorder::GetInstance().Init() 获取编码器的 surfaceid 然后通过 ts 的 promise 传递给前端。作为一门新的系统，本人也是刚入门学习中，如果对于一些理解有问题的，欢迎即使指出哈。
Speex编解码器手册 1.2Beta3版
05-23
Speex编解码器手册 1.2Beta3版 The Speex Codec Manual Version 1.2 Beta 3 Speex编解码器(http://www.speex.org/)的存在是因为需要一款开源且免软件专利使用费的语音编解码器，这是任何开源软件可用的必要条件。...
基于verilog的H264视频编解码开发
04-04
基于verilog的H264视频编解码开发 DF_top (clk,reset_n,gclk_DF,gclk_end_of_MB_DEC,gclk_DF_mbAddrA_RF,gclk_DF_mbAddrB_RAM, end_of_BS_DEC,disable_DF,mb_num_h,mb_num_v, bs_V0,bs_V1,bs_V2,bs_V3,bs_H0,bs_H1...
基于HarmonyOS NEXT Developer Beta1编写的app应用源代码，使用DevEco5.03版本编写
06-27
基于HarmonyOS NEXT Developer Beta1编写的app应用源代码，使用DevEco5.03版本编写，包含系统源代码，代码结构图，鸿蒙虚拟机运行效果图，预览器效果图等。在win11 版本测试通过。
HarmonyOS应用开发者基础认证考试题目及答案
12-17
HarmonyOS应用开发者基础认证考试题目及答案HarmonyOS应用开发者基础认证考试题目及答案HarmonyOS应用开发者基础认证考试题目及答案HarmonyOS应用开发者基础认证考试题目及答案HarmonyOS应用开发者基础认证考试题目...
基于CameraKit，通过avrecorder进行录像
hongxiaomeng的博客
06-21 187
18个实时音视频开发中会用到开源项目
weixin_34261739的博客
02-05 5221
实时音视频的开发学习有很多可以参考的开源项目。一个实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等。 我们今天汇总了一些能帮助到正在学习或进...
音视频编解码类开源项目的18个实时
Linux高级开发的博客
05-27 2832
实时音视频的开发学习有很多可以参考的开源项目。 一个实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等。 我们今天汇总了一些能帮助到正在学习或进行音视频开发的实时音视频开发者们的开源项目与几个也在为开源社区贡献力量的商业服务。这些项目分为几类：音视频编解码类、视频前后处理、服务端类等。 音视频编解码类开源
让 Flutter 在鸿蒙系统上跑起来
热门推荐
美团技术团队
01-21 2万+
总第433篇2021年 第003篇鸿蒙系统 （HarmonyOS）是华为推出的一款分布式操作系统，那么如何在保证开发迭代效率的前提下，以相对低的成本将移动应用快速移植到鸿蒙平台上呢？美团...
【Codecs系列】音视频编解码开源项目大汇总
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
12-30 1138
DATE: 2018.12.30 文章目录1、参考2、前言3、常用的音视频开源项目3.1、huffyuv3.2、Lame3.3、 ffmpeg3.4、webrtc3.5、live5553.6、x2643.7、Xvid3.8、x2653.9 OpenHEVC3.10、libvpx3.11、AV13.12、libmpeg23.13、libjpeg3.14、OpenJPEG 1、参考 http://www.data-compression.org/patents.shtml http://www.cnblog
各种音视频编解码学习详解 h264 ，mpeg4 ，aac 等所有音视频格式
weiyinchao88
01-19 4415
编解码学习笔记（一）：基本概念 媒体业务是网络的主要业务之间。尤其移动互联网业务的兴起，在运营商和应用开发商中，媒体业务份量极重，其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。最近因为项目的关系，需要理清媒体的codec，比较搞的是，在豆丁网上看运营商的规范 标准，同一运营商同样的业务在不同文档中不同的要求，而且有些要求就我看来应当是历史的延续，也就是现在已经很少采用了...
【PyQt6 应用程序】一键视频解说克隆字幕切割版
最新发布
Mr数据杨
09-10 146
在当今数字时代，视频解说已经成为影视剧宣传和观众互动的重要手段。然而，手动制作高质量的影视剧解说视频需要大量的时间和精力。为了简化这一过程并提高生产效率，我们开发了基于PyQt6的应用程序“一键视频解说克隆字幕切割版”。该应用程序能够自动复刻别人的影视剧解说视频，通过算法提取字幕并进行切割、去重处理，并使用AI润色文案生成新的音频和字幕文件。最终，通过将新的视频和音频对齐并添加背景音乐，自动生成高质量的影视剧解说视频。
 HarmonyOS NEXT Beta 版报名答题
06-24
HarmonyOS NEXT Beta 版本的报名答题通常是指华为对于其操作系统内测版本的用户招募活动。为了获取 beta 测试资格，你需要按照以下步骤操作： 1. 访问华为官方开发者网站或华为花粉社区：首先，查找华为发布的关于 HarmonyOS NEXT Beta 测试的通知，一般会在这些平台上发布。 2. 注册成为开发者：如果你还没有注册成为华为的开发者，需要先完成账号注册，并提交必要的信息和资质审核。 3. 填写申请问卷：报名阶段，开发者需要填写详细的个人信息、开发经验及使用场景等，以便华为评估你的适配能力和需求。 4. 完成答题环节：根据官方提供的题目，可能涉及对HarmonyOS技术的理解、项目开发经验等方面，通过解答问题展示你的技术水平和对新系统的理解。 5. 等待审核：提交完整资料并答题后，等待华为审核。通过审核的用户将收到测试资格通知，下载 beta 版本参与测试。 6. 参与反馈：在测试期间，积极参与内测交流，提供反馈和建议，帮助完善系统。 如果你是华为手机用户但还不是开发者，也可能会有机会通过开放的公测计划加入体验，不过具体流程可能会有所不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值