超帧外插模式是利用相邻两个真实渲染帧进行超帧计算并生成未来一帧预测帧，即利用第N-1帧、第N帧真实帧预测第N+0.5帧预测帧，如下图所示。由于外插模式不改变渲染时间线和显示时间线的帧间顺序，因此不会导致响应时延的增加。但由于外插模式预测的是未来帧画面，当发生场景画面帧间差异大、相机或物体运动方向突变时，在预测帧的画面边缘和物体边缘容易出现拖影和模糊现象。
OpenGL ES平台
业务流程
基于OpenGL ES图形API平台，集成超帧外插模式的主要业务流程如下：
- 用户进入超帧适用的游戏场景。
- 游戏应用调用[HMS_FG_CreateContext_GLES]接口创建超帧上下文实例。
- 游戏应用调用接口配置超帧实例属性。包括调用[HMS_FG_SetAlgorithmMode_GLES]（必选）设置超帧算法模式并选择外插模式；调用[HMS_FG_SetResolution_GLES]（必选）设置超帧输入输出图像分辨率；调用[HMS_FG_SetCvvZSemantic_GLES]（可选）设置齐次裁剪空间Z/W范围及深度测试函数；调用[HMS_FG_SetImageFormat_GLES]（可选）设置真实渲染帧颜色缓冲区图像格式；如果颜色缓冲区相对深度模板缓冲区基于y轴翻转180度，则调用[HMS_FG_SetDepthStencilYDirectionInverted_GLES]（可选）设置翻转状态。
- 游戏应用调用[HMS_FG_Activate_GLES]接口激活超帧上下文实例。
- 渲染游戏场景绘制真实渲染帧，缓存真实帧颜色信息、深度信息和相机矩阵等信息，用于后续超帧预测。
- 真实渲染帧绘制UI并送显。
- 游戏应用调用[HMS_FG_Dispatch_GLES]接口并传入历史真实渲染帧颜色信息、深度信息、相机矩阵等信息，生成预测帧，并更新预测帧缓冲区。当相机视图投影矩阵的平移分量非常大时（如超过10W），预测帧效果下降，画面易出现闪烁现象。此时可在[HMS_FG_Dispatch_GLES]接口调用前调用[HMS_FG_SetExtendedCameraInfo_GLES]设置相机扩展信息，从而获取精度更高的预测帧效果。
- 预测帧绘制UI并送显，跳转至步骤5继续执行，直到退出游戏场景。
- 用户退出超帧适用的游戏场景。
- 游戏应用调用[HMS_FG_DestroyContext_GLES]接口销毁超帧上下文实例并释放内存资源。
开发步骤
注意
外插模式需要标记模板缓冲的第8位，用于区分静态物体和动态物体。静态物体所占区域的模板值需标记为0xxx xxxx，动态物体所占区域的模板值需标记为1xxx xxxx，模板缓冲的低7位模板值开发者可自行设置。如果标记错误或漏标记，可能会造成超帧预测效果不准确，如运动物体边缘区域拖影等现象。
本节阐述基于OpenGL ES图形API平台的超帧调用示例。
- 引用Graphics Accelerate Kit超帧头文件：frame_generation_gles.h。
// 引用超帧frame_generation_gles.h头文件
#include <graphics_game_sdk/frame_generation_gles.h>
- 编写CMakeLists.txt。
find_library(
# Sets the name of the path variable.
framegeneration-lib
# Specifies the name of the NDK library that you want CMake to locate.
libframegeneration.so
)
target_link_libraries(entry PUBLIC
${framegeneration-lib}
)
- 调用[HMS_FG_CreateContext_GLES]接口创建超帧上下文实例。
// 创建超帧上下文实例
FG_Context_GLES* context_ = HMS_FG_CreateContext_GLES();
if (context_ == nullptr) {
return false;
}
- 调用超帧实例属性配置接口，超帧算法模式选择外插模式。
// 初始化超帧接口调用错误码
FG_ErrorCode errorCode = FG_SUCCESS;
// 超帧算法模式
FG_AlgorithmModeInfo aInfo{};
aInfo.predictionMode = FG_PREDICTION_MODE_EXTRAPOLATION; // 外插模式
aInfo.meMode = FG_ME_MODE_BASIC; // 运动估计基础模式
errorCode = HMS_FG_SetAlgorithmMode_GLES(context_, &aInfo); // [必选] 设置超帧算法模式
if (errorCode != FG_SUCCESS) {
return false;
}
// 真实帧颜色缓冲区分辨率
FG_Dimension2D inputColorResolution{};
inputColorResolution.width = 1280; // 真实帧颜色缓冲区图像宽度
inputColorResolution.height = 720; // 真实帧颜色缓冲区图像高度
// 真实帧深度模板缓冲区分辨率
FG_Dimension2D inputDepthStencilResolution{};
inputDepthStencilResolution.width = 1280; // 真实帧深度模板缓冲区图像宽度
inputDepthStencilResolution.height = 720; // 真实帧深度模板缓冲区图像高度
// 预测帧分辨率
FG_Dimension2D outputColorResolution{};
outputColorResolution.width = 1280; // 预测帧图像宽度
outputColorResolution.height = 720; // 预测帧图像高度
// 超帧输入输出图像分辨率
FG_ResolutionInfo rInfo{};
rInfo.inputColorResolution = inputColorResolution;
rInfo.inputDepthStencilResolution = inputDepthStencilResolution;
rInfo.outputColorResolution = outputColorResolution;
errorCode = HMS_FG_SetResolution_GLES(context_, &rInfo); // [必选] 设置超帧输入输出图像分辨率
if (errorCode != FG_SUCCESS) {
return false;
}
// [可选] 设置齐次裁剪空间Z/W范围及深度测试模式，接口不调用时默认为FG_CVV_Z_SEMANTIC_MINUS_ONE_TO_ONE_FORWARD_Z
errorCode = HMS_FG_SetCvvZSemantic_GLES(context_, FG_CVV_Z_SEMANTIC_MINUS_ONE_TO_ONE_FORWARD_Z);
if (errorCode != FG_SUCCESS) {
return false;
}
// [可选] 设置真实渲染帧颜色缓冲区图像格式，接口不调用时默认为FG_FORMAT_R8G8B8A8_UNORM
errorCode = HMS_FG_SetImageFormat_GLES(context_, FG_FORMAT_R8G8B8A8_UNORM);
if (errorCode != FG_SUCCESS) {
return false;
}
// [可选] 当颜色缓冲区相对深度模板缓冲区基于y轴翻转180度时，设置第二个参数为true，接口不调用时默认为无翻转
errorCode = HMS_FG_SetDepthStencilYDirectionInverted_GLES(context_, true);
if (errorCode != FG_SUCCESS) {
return false;
}
- 调用[HMS_FG_Activate_GLES]接口激活超帧上下文实例。
// 激活超帧上下文实例
errorCode = HMS_FG_Activate_GLES(context_);
if (errorCode != FG_SUCCESS) {
return false;
}
- 游戏运行中，真实渲染帧和预测帧交替渲染并送显。渲染真实帧时，缓存颜色信息、深度信息和相机矩阵等属性信息。渲染预测帧时，需调用[HMS_FG_Dispatch_GLES]接口并传入上一帧真实帧属性信息，指定预测帧缓冲区索引，生成预测帧，最终更新预测帧缓冲区内存。
// 帧计数
uint32_t frameNum = 0;
// 帧生成属性配置结构体
FG_DispatchDescription_GLES dispatchDescriptionData_ {
.inputColor = 0U,
.inputDepthStencil = 0U,
.viewProj{},
.invViewProj{},
.outputColor = 0U
};
// 变量声明
uint32_t inputColor = 0;
uint32_t inputDepthStencil = 0;
uint32_t outputColor = 0;
FG_Mat4x4 preViewProj;
FG_Mat4x4 preInvViewProj;
// 帧循环
while (true) {
frameNum += 1;
if ((frameNum & 1) != 0) { // 真实帧渲染阶段
// 渲染当前帧渲染画面，缓存颜色、深度、相机矩阵等信息，用于下一帧预测帧生成
// ...
// 绘制真实帧
// ...
// 绘制UI
// ...
// 送显真实帧
// ...
} else { // 预测帧渲染阶段
// 传入上一帧真实渲染帧颜色缓冲区索引
dispatchDescriptionData_.inputColor = inputColor;
// 传入上一帧真实渲染帧深度模板缓冲区索引
dispatchDescriptionData_.inputDepthStencil = inputDepthStencil;
// 传入预测帧缓冲区索引
dispatchDescriptionData_.outputColor = outputColor;
// 传入上一帧真实渲染帧视图投影矩阵
dispatchDescriptionData_.viewProj = preViewProj;
// 传入上一帧真实渲染帧视图投影逆矩阵
dispatchDescriptionData_.invViewProj = preInvViewProj;
// [可选] 当视图投影矩阵的平移分量非常大时，可提供相机扩展属性信息以获得更加准确的超帧效果。
FG_PerFrameExtendedCameraInfo info;
errorCode = HMS_FG_SetExtendedCameraInfo_GLES(context_, &info);
// 生成预测帧，更新预测帧缓冲区的内存
errorCode = HMS_FG_Dispatch_GLES(context_, &dispatchDescriptionData_);
switch (errorCode) {
case FG_SUCCESS: {
// 绘制预测帧
// ...
// 绘制UI
// ...
// 送显预测帧
// ...
break;
}
case FG_COLLECTING_PREVIOUS_FRAMES:
// 传入真实帧数量未达到固定阈值，无预测帧生成，基础外插模式传入真实帧数量<3时返回该状态码，增强外插模式传入真实帧数量<2时返回该状态码，此时不要将预测帧送显
break;
default:
// 预测帧生成失败
return false;
}
}
}
- 调用[HMS_FG_DestroyContext_GLES]接口销毁超帧实例，释放内存资源。
// 销毁超帧上下文实例并释放内存资源
errorCode = HMS_FG_DestroyContext_GLES(&context_);
if (errorCode != FG_SUCCESS) {
return false;
}
最后呢
很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。
而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点
如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。
针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说，我们直接看详细鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，帮助大家在技术的道路上更进一步。
- 《鸿蒙 (OpenHarmony)开发学习视频》
- 《鸿蒙生态应用开发V2.0白皮书》
- 《鸿蒙 (OpenHarmony)开发基础到实战手册》
- OpenHarmony北向、南向开发环境搭建
- 《鸿蒙开发基础》
- 《鸿蒙开发进阶》
- 《鸿蒙开发实战》
总结
鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。
并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用需要开发，也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长，学习鸿蒙势在必行！ 自↓↓↓拿
扫一扫
1598
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
