Soc 离屏渲染优化 - 序

最新推荐文章于 2024-07-21 08:25:17 发布

皓瑞 =)

最新推荐文章于 2024-07-21 08:25:17 发布

阅读量1k

点赞数 28

分类专栏：离屏渲染文章标签：离屏渲染

本文链接：https://blog.csdn.net/weixin_45449806/article/details/140582865

版权

离屏渲染专栏收录该内容

3 篇文章 0 订阅

订阅专栏

想了挺久, 我决定还是记录一些东西;

讲述一下 rk_mmp_demo 编码的一些背景, 出于何种目的, 又解决了什么问题.

背景

大概在一年半年前由于工作上的原因接触到了 OpenGL, 为此我还写了一篇笔记 OpenGL 简介.

在这个示例里, 演示了如何使用 OpenGL 实现转场特效这一实现, 比如百叶窗的 frag.glsl 就如下:

varying vec2 oUV;
uniform sampler2D TexA;
uniform sampler2D TexB;
uniform sampler2D TexL;
uniform float Progress;

void main(void)
{
    float softness = 0.03f;
    float luma = texture(TexL, oUV).x;
    float time = mix(0.0f, 1.0f + softness, Progress);

    vec4 acolor = texture(TexA, oUV);
    vec4 bcolor = texture(TexB, oUV);

    if (luma <= time - softness)
    {
        gl_FragColor = bcolor;
    }
    else if (luma >= time)
    {
        gl_FragColor = acolor;
    }
    else
    {
        float alpha = (time - luma) / softness;
        gl_FragColor = mix(acolor, bcolor, alpha);
    }
}

如果对 OpenGL 稍微熟悉的朋友应该会觉得这是一个简单的实现吧;
的确, 基于 glsl 的语法上来看这是一个简单的功能.

转场特效这个功能已经相当成熟了, 还不清楚的小伙伴也可以下载 OBS 尝试体验一下.

但是如果将它放到实际应用场景,随着而来就会带来几个不得不面对的问题.在实际的应用场景中, 转场特效一般用于场景切换, 更具体一步说则是视频源切换;

由此带来了以下几种特性:

纹理需要实时全局更新, 根据视频源的帧率决定
渲染方式为离屏渲染, 渲染完之后的结果一般需要进行再编码, 可能也会同步显示输出
解码数据和编码数据一般是 YUV 格式, 而 GPU 处理数据通常由以 RGB 数据为主

如果是做 3D 引擎的同学可能已经看到了一些 Bad Smell.

冲突

这, 会带来什么问题? 如果将转场特效的流程用图描述, 应该像下图这样:

按照流程, 把每一步都简单地说明一下:

请添加图片描述

(1) 上传纹理; 将编码器输出的 YUV 数据分别上传至 Y 和 NV 纹理, 这里主要使用 glTexSubImage2D 接口
(2) 色彩空间转换, 写一个简单的 glsl 实现 YUV 转 RGB
(3) 转场合成, 其中的一个例子如上
(4) 渲染, 将转场合成结果渲染到 FBO (FrameBuffer Object) 上

将 YUV 数据渲染到 FBO 这一操作并不常见, 这里简单描述一下操作过程; 具体地的操作实现可以使用 MRT 多重渲染技术

将一张 R8 纹理绑定至 GL_COLOR_ATTACHMENT0, 作为 Y 分量输出

将一张 R8G8 纹理绑定至 GL_COLOR_ATTACHMENT1, 作为 NV 分量输出