Android Opengles mediaCodec 预览录制视频 添加水印

本篇是在Camera 采集数据通过 GLSurfaceView 预览 (二)的基础上修改增加的,上一篇只是通过GLSurfaceView进行预览Camera数据,这篇将会接着学习利用OpenGLES更多的特性和MediaCodec硬编码。

这篇主要记录自己遇到的问题和解决思路,文章底部附带源代码。


1. 将GL_TEXTURE_EXTERNAL_OES纹理转化为GL_TEXTURE_2D纹理

因为后续我们需要增加水印、录制等功能,需要使用到的是sampler2D纹理,而Camera采集的数据外部纹理。

所以第一步就是将外部纹理转为sampler2D纹理,可以借助FBO来实现;

FBO(Frame Buffer Object ) 帧缓冲对象,之前我们都是渲染到窗口系统提供的默认的帧缓冲中,而FBO支持创建一个帧缓冲区,这样就可以不直接渲染到屏幕上,而是渲染到定制的帧缓冲区。FBO支持将一个纹理绑定到 FBO 上,接着后续所有的渲染操作会被存储到纹理图像上。

整体的流程

(1).在CameraSurfaceRender负责创建GL_TEXTURE_EXTERNAL_OES纹理,接受Camera原始数据

mCameraTextureId = GlesUtil.createCameraTexture();

(2). 在OriginalRenderDrawer创建GL_TEXTURE_2D的纹理

mOutputTextureId = GlesUtil.createFrameTexture(width, height);

(3). 在当前的EGL环境下,创建一个FBO

在本章的源码中,RenderDrawerGroups接收负责管理所有的RenderDrawer,包括创建FBO、控制绘制顺序、是否需要绘制到FBO中等

mFrameBuffer = GlesUtil.createFrameBuffer();
public static int createFrameBuffer() {
   
        int[] buffers = new int[1];
        GLES30.glGenFramebuffers(1, buffers, 0);
        checkError();
        return buffers[0];
}

(4). 绑定DisplayRenderDrawer的GL_TEXTURE_2D纹理到FBO上,后续的绘制动作就会存储FBO上

public void bindFrameBuffer(int textureId) {
   
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, mFrameBuffer);
    GLES30.glFramebufferTexture2D(GLES30.GL_FRAMEBUFFER, GLES30.GL_COLOR_ATTACHMENT0, GLES30.GL_TEXTURE_2D, textureId, 0);
 }

(5). 执行OriginalRenderDrawer渲染,通过FBO就自然就渲染到了DisplayRenderDrawer的纹理图像上
RenderDrawerGroups

// timestamp 时间戳  transformMatrix 转换矩阵
public void draw(long timestamp, float[] transformMatrix) {
   
        // 将绑定到FBO中,最后转换成mOriginalDrawer中的Sample2D纹理
        drawRender(mOriginalDrawer, true, timestamp, transformMatrix);
        ...
        // 不绑定FBO,直接绘制到屏幕上
        drawRender(mDisplayDrawer, false,  timestamp, transformMatrix);
    }

RenderDrawerGroups控制渲染流程


public void drawRender(BaseRenderDrawer drawer, boolean useFrameBuffer, 
			long timestamp, float[] transformMatrix) {
   
        if (useFrameBuffer) {
    // 绑定到FBO中
            bindFrameBuffer(drawer.getOutputTextureId());
        }
        drawer.draw(timestamp, transformMatrix);
        if (useFrameBuffer) {
   
            unBindFrameBuffer();
        }
    }

(6). 解除FBO绑定,恢复默认的帧缓冲区

public void unBindFrameBuffer() {
   
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, 0);
}
2. 叠加水印纹理

如果上面转换完成后,那么水印的叠加并不难,同样使用到了FBO,在纹理基础叠加一层水印的绘制混合

WaterMarkRenderDrawer负责渲染绘制水印图片

(1). 创建水印图片纹理

mMarkTextureId = GlesUtil.loadBitmapTexture(mBitmap);

(2). 渲染绘制水印图片

使用了Blend 颜色混合,具体参考轻松搞定 Blend 颜色混合

public void draw(long timestamp,<
  • 4
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
这里提供一个使用OpenGL ESMediaCodec的简单例子,用于解码视频并将其渲染到屏幕上: ```java public class VideoRenderer implements SurfaceTexture.OnFrameAvailableListener { private static final String TAG = "VideoRenderer"; private SurfaceTexture mSurfaceTexture; private Surface mSurface; private int mTextureId; private MediaCodec mMediaCodec; private MediaFormat mMediaFormat; private ByteBuffer[] mInputBuffers; private ByteBuffer[] mOutputBuffers; private int mWidth; private int mHeight; private boolean mIsRunning = false; private EGLDisplay mEGLDisplay; private EGLSurface mEGLSurface; private EGLContext mEGLContext; public VideoRenderer(SurfaceTexture surfaceTexture, int width, int height) { mSurfaceTexture = surfaceTexture; mWidth = width; mHeight = height; } public void start(String filePath) throws IOException { mMediaFormat = MediaFormat.createVideoFormat("video/avc", mWidth, mHeight); mMediaCodec = MediaCodec.createDecoderByType("video/avc"); mMediaCodec.configure(mMediaFormat, mSurface, null, 0); mInputBuffers = mMediaCodec.getInputBuffers(); mOutputBuffers = mMediaCodec.getOutputBuffers(); File file = new File(filePath); FileInputStream inputStream = new FileInputStream(file); FileChannel fileChannel = inputStream.getChannel(); mMediaCodec.start(); while (mIsRunning) { int inputBufferIndex = mMediaCodec.dequeueInputBuffer(1000); if (inputBufferIndex >= 0) { ByteBuffer inputBuffer = mInputBuffers[inputBufferIndex]; int sampleSize = fileChannel.read(inputBuffer); if (sampleSize < 0) { mMediaCodec.queueInputBuffer(inputBufferIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM); } else { mMediaCodec.queueInputBuffer(inputBufferIndex, 0, sampleSize, 0, 0); } } MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo(); int outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, 1000); while (outputBufferIndex >= 0) { mMediaCodec.releaseOutputBuffer(outputBufferIndex, true); outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, 0); } } } public void stop() { mIsRunning = false; // Release MediaCodec if (mMediaCodec != null) { mMediaCodec.stop(); mMediaCodec.release(); mMediaCodec = null; } // Destroy EGL context and surface if (mEGLDisplay != EGL14.EGL_NO_DISPLAY) { EGL14.eglMakeCurrent(mEGLDisplay, EGL14.EGL_NO_SURFACE, EGL14.EGL_NO_SURFACE, EGL14.EGL_NO_CONTEXT); if (mEGLSurface != null) { EGL14.eglDestroySurface(mEGLDisplay, mEGLSurface); } if (mEGLContext != null) { EGL14.eglDestroyContext(mEGLDisplay, mEGLContext); } EGL14.eglTerminate(mEGLDisplay); } // Release SurfaceTexture and Surface if (mSurfaceTexture != null) { mSurfaceTexture.release(); mSurfaceTexture = null; } if (mSurface != null) { mSurface.release(); mSurface = null; } } @Override public void onFrameAvailable(SurfaceTexture surfaceTexture) { // Update SurfaceTexture surfaceTexture.updateTexImage(); // Render frame with OpenGL ES float[] transformMatrix = new float[16]; surfaceTexture.getTransformMatrix(transformMatrix); GLES20.glClearColor(0, 0, 0, 1); GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT); GLES20.glUseProgram(mProgram); GLES20.glActiveTexture(GLES20.GL_TEXTURE0); GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, mTextureId); GLES20.glUniformMatrix4fv(mTransformMatrixHandle, 1, false, transformMatrix, 0); GLES20.glVertexAttribPointer(mPositionHandle, 2, GLES20.GL_FLOAT, false, 0, mVertexBuffer); GLES20.glVertexAttribPointer(mTextureHandle, 2, GLES20.GL_FLOAT, false, 0, mTextureBuffer); GLES20.glEnableVertexAttribArray(mPositionHandle); GLES20.glEnableVertexAttribArray(mTextureHandle); GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4); GLES20.glDisableVertexAttribArray(mPositionHandle); GLES20.glDisableVertexAttribArray(mTextureHandle); // Swap buffers EGL14.eglSwapBuffers(mEGLDisplay, mEGLSurface); } } ``` 在这个示例中,我们首先创建一个`SurfaceTexture`和一个`Surface`来将视频渲染到屏幕上。然后,我们创建一个`MediaCodec`来解码视频,并将其配置为使用指定的`Surface`进行输出。我们使用`FileInputStream`和`FileChannel`来从文件中读取视频数据,并将其输入到`MediaCodec`中进行解码。最后,我们使用OpenGL ES将解码后的视频帧渲染到屏幕上。 需要注意的是,在`onFrameAvailable`回调中,我们需要使用OpenGL ES视频帧渲染到屏幕上,并且需要在渲染完成后调用`EGL14.eglSwapBuffers`来交换前后缓冲区。此外,我们还需要在程序退出时释放所有资源,包括`MediaCodec`,EGL上下文和SurfaceTexture。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值