Android Camera开发实践(4) SurfaceTexture与特效

2401_84149733

于 2024-04-13 17:32:31 发布

阅读量808

点赞数 13

分类专栏：程序员文章标签： android

本文链接：https://blog.csdn.net/2401_84149733/article/details/137720547

版权

程序员专栏收录该内容

274 篇文章 0 订阅

订阅专栏

参考
SurfaceView实现原理分析
 developer training
SurfaceFlinger 详解

SurfaceView TextureView对比：

SurfaceView VS TextureView

详细区别参阅 SurfaceView、GLSurfaceView、SurfaceTexture、TextureView 区别

SurfaceTexture工作原理

Android开发文档里对SurfaceTexture的工作流有简单的介绍

相机采集的图像经SurfaceTexture处理后,输送到OpenGLES，gl处理完再输送到SurfaceView展示，最后由SurfaceFlinger合成；或经OpenGLES处理后，输送到MediaCodec编码，编码成视频文件。

抽出SurfaceTexture的核心逻辑，如下图。SurfaceTexture中维护了一个队列，存储图像Buffer，从Camera、Decoder等模块输入数据，转换成纹理，输送到OpenGL处理。这是一个典型的生产-消费模式。

注意：在GL环境中处理Texture时，key是“GLES11Ext.GL_TEXTURE_EXTERNAL_OES”，什么是TEXTURE_EXTERNAL_OES呢？

如上图所示，camera等采集的图像数据，不能直接用于opengl，需要以拓展纹理的方式处理，实际经过EglImageKHR转换，这部分工作是EGL做的。我的理解是，图像的生产不在GL线程中，纹理不能共享给OpenGL线程，另外采集的图像数据是YUV格式的，需要转换成普通的RGB。

关于EglImageKHR，详细参考.

SurfaceTexture代码分析

代码分析参考谈一谈 Android 上的 SurfeceTexture

来看看SurfaceTexture里的代码，建立直观的认识.

SurfaceTexture构造函数中调用nativeInit初始化

// 构造函数
// singleBufferMode是否是单buffer，默认为false
public SurfaceTexture(int texName, boolean singleBufferMode) {
mCreatorLooper = Looper.myLooper();
mIsSingleBuffered = singleBufferMode;
//native方法nativeInit
nativeInit(false, texName, singleBufferMode, new WeakReference(this));
}

重点在nativeInit方法里，生成生产者和消费者，创建图像缓冲队列。调用updateTexImage，会读取缓冲队列里的数据到TextureId绑定的纹理内存中

// frameworks\base\core\jni\SurfaceTexture.cpp
// texName为应用创建texture名
// weakThiz为SurfaceTexture对象弱引用
static void SurfaceTexture_init(JNIEnv* env, jobject thiz, jboolean isDetached,
jint texName, jboolean singleBufferMode, jobject weakThiz) {
sp producer;
sp consumer;
// 创建IGraphicBufferProducer及IGraphicBufferConsumer

BufferQueue::createBufferQueue(&producer, &consumer);

if (singleBufferMode) {
consumer->setMaxBufferCount(1);
}

sp surfaceTexture;
// isDetached为false
if (isDetached) {
…
} else {
// 将consumer和texName封装为GLConsumer类对象surfaceTexture
surfaceTexture = new GLConsumer(consumer, texName,
GL_TEXTURE_EXTERNAL_OES, true, !singleBufferMode);
}
…
// 收到帧数据是会触发ctx->onFrameAvailable方法
surfaceTexture->setFrameAvailableListener(ctx);
SurfaceTexture_setFrameAvailableListener(env, thiz, ctx);
}

原理先讲到这了，下面我们来一段实践，将前面所学的都结合起来，实现一个动效.

实践.基于SurfaceTexture预览+gl特效

完整工程：完整工程 CameraDemo

github.com/ChinaZeng/O…

注意替换fragment_shader_screen.glsl里的逻辑，默认是没有特效的

代码结构：

代码说明：

参考上图，做一些说明辅助理解。

CameraEglSurfaceView

CameraEglSurfaceView继承自GLSurfaceView，作为默认的渲染屏幕。

CameraFboRender

实现Renderer接口，创建surfaceTexture，绑定纹理id cameraRenderTextureId。

onSurfaceListener()回调里，打开相机预览，预览生成的数据绑定到surfaceTexture

onDrawFrame()回调里，更新纹理到cameraRenderTextureId

第一次绘制：调用OpenGL ES的API绘制，将cameraRenderTextureId的纹理绘制到FrameBuffer上，实际上是绘制到FrameBuffer关联的Texture(fboTextureId)。注意，这是一次空绘制，shader里啥也没干，如果你有啥创意，也可以改shader来实现。