视频实时OpenGL渲染并保存渲染结果合成MP4

本文介绍了如何使用OpenGL进行视频实时渲染,并结合视频编解码模块将渲染结果合成MP4文件。在OpenGL渲染视频模块中,通过GLEngine控制GL绘制,解码模块包含MP4解码、RGB转YUV、H264编码和MP4复合器。在整合使用中,多线程解码视频,OpenGL绘制后转换为YUV,最终生成MP4。源码可在GitHub找到。
摘要由CSDN通过智能技术生成
    这是一个能实时播放多个视频、图片在一个GL容器里的控件,通过这个控件,可以在一个view中绘制固定坐标、自由随机滚动的视频和图片,然后从该view中截取数据帧,实时保存成YUV格式的文件,最后合成MP4。

一、OpenGL 渲染视频模块

1.结构简介
a. GLEngine是一个全局控制GL绘制各个子view的类,结构图如下:
GLEngine结构图

b.Java层封装后的View控件结构如下:
这里写图片描述

    GLEngine直接提供接口给上层调用,通过该对象实现创建、绘制、释放子view,和获取GL绘制结果,以及释放整个GL。
    MyGLView是对底层的封装,提供方法给Android直接使用。

2.工作原理

    底层GLEngine实例化后,会返回一个long型的对象句柄给上层的MyGLView,MyGLView对象就可以通过该句柄实现对底层GLEngine的引用。
    MyGLView对象通过addStaticView()、addScrollView()方法调用底层对应的createStaticView()、createScrollView()函数,拿到子view long型的句柄,然提供给使用MyGLView的开发者保存下来,开发者就可以通过这些子view的句柄来绘制GL里面的各个子view。

二、视频编解码模块<

是的,将外部视频流离屏渲染到纹理上是一种常见的处理方式,可以用来实现视频处理等功能。具体实现步骤如下: 1. 在代码中创建一个离屏渲染的FrameBuffer对象。 2. 创建一个Texture对象,类型为GL_TEXTURE_2D,并将其绑定到一个纹理单元上,通常使用glActiveTexture和glBindTexture函数实现。 3. 将该纹理对象作为颜色附着点附着到FrameBuffer对象上。 4. 将外部视频流纹理绑定到另一个纹理单元上,通常使用glActiveTexture和glBindTexture函数实现。 5. 在片段着色器中,使用samplerExternalOES类型的采样器获取外部视频流纹理上的颜色值,通常使用texture2D函数实现。 6. 在顶点着色器中,将纹理坐标传递到片段着色器中。 7. 在片段着色器中,使用sampler2D类型的采样器获取离屏渲染FrameBuffer对象上的颜色值,通常使用texture2D函数实现。 8. 在片段着色器中,对两个颜色值进行处理并输出最终的颜色值。 例如,下面是一个简单的片段着色器示例,用于将外部视频流纹理与离屏渲染纹理进行合成: ``` #extension GL_OES_EGL_image_external : require precision mediump float; varying vec2 vTexCoord; uniform sampler2D sTexture; uniform samplerExternalOES sExternalTexture; void main() { vec4 color1 = texture2D(sTexture, vTexCoord); vec4 color2 = texture2D(sExternalTexture, vTexCoord); vec4 finalColor = mix(color1, color2, 0.5); gl_FragColor = finalColor; } ``` 其中,samplerExternalOES类型的采样器sExternalTexture用于获取外部视频流纹理上的颜色值,sampler2D类型的采样器sTexture用于获取离屏渲染FrameBuffer对象上的颜色值,mix函数用于对两个颜色值进行混合。需要注意的是,在代码中需要将外部视频流与OpenGL ES中的纹理关联起来,并将离屏渲染的结果绘制到屏幕上。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值