GPUImage源码分析与使用(一)

已于 2023-06-24 20:48:48 修改
阅读量914 收藏 1
点赞数 1
分类专栏： 图形图像处理 文章标签： 算法
于 2023-05-31 22:13:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyun_01/article/details/130968333
版权

GPUImage简介

  • GPUImage是链式编程，可以处理图片和视频，支持iOS和Mac。
  • GPUImage1.0和2.0是基于 OpenGL ES 封装，1.0是OC版本，2.0是swift版本，3.0是基于Metal的swift版本。
  • AVFoundation在GPUImage框架中是用来捕捉视频的

CoreImage与GPUImage的对比

  • CoreImage是Apple原生的图片视频处理框架
  • 两者都是基于OpenGL ES封装的框架，在性能上没有太大区别

GPUImage的优势

  • 在iOS4.0和5.0低版本上GPUImage会比CoreImage表现更好
  • GPUImage在视频滤镜处理上会比CoreImage表现更好
  • GPUImage是开源框架，支持自定义滤镜
  • GPUImage源码开源，会比CoreImage更易于使用

CoreImage的优势

  • CoreImage是官方框架，使用方便，不需要担心维护问题，第三方框架会有停止更新维护的情况
  • 还支持CPU渲染
  • 与Metal、spriteKit、SceneKit、Core Animation等官方框架能更好的配合使用
  • 支持人脸识别功能，但是识别功能不是很强大
  • 支持对大图进行处理，GPU的纹理限制是4096*4096，对于超出限制的图片，GPUImage会压缩处理导致损失图片质量，CoreImage会把图片拆解成小图处理

GPUImage的特性

  • 有丰富的输入组件，可以处理图片、纹理、视频、二进制数据、UIElement(UIView、CALayer)，可以使用GPUImage拍照、处理纹理图片、给视频或拍摄中的视频添加滤镜、添加水印可以使用UIElement
  • 集成了很多内置滤镜：
    • 颜色类有亮度、饱和度、色度、对比度、白平衡等；
    • 图像类有仿射变换、裁剪、高斯模糊、毛玻璃等；
    • 颜色混合类有透明度混合、纹理混合；
    • 效果类有素描、像素画、旋涡等
  • 有很多输出组件，输出方式有UIView、视频文件、纹理、二进制数据等
  • 灵活的滤镜链，模块化功能

GPUImage框架

      GPUImageOutput，常用的为前4个，最终处理的都是纹理:
* GPUImageVideoCamera(正在录制的视频)
* GPUImageStillCamera(拍摄的照片)
* GPUImagePicture(静态图片)
* GPUImageMovie(一段视频)
* GPUImageMovieComposition
* GPUImageTextureInput(纹理)
* GPUImageRawDataOutput(二进制数据)
* GPUImageUIElement(UIView/UILayer)
* GPUImageColorConversion

Pipeline(管道):

1.GPUImageFilterPipeline

Filters(过滤器/滤镜):

1.Base基类
  • GPUImageFilter，所有Filter父类
  • GPUImageTwoInputFilter
  • GPUImageThreeInputFilter
  • GPUImageFourInputFilter
  • GPUImageTwoPassFilter
  • GPUImageTwoPassTextureSamplingFilter
  • GPUImageFilterGroup
  • GPUImage3x3TextureSamplingFilter
  • GPUImageTwoInputCrossTextureSamplingFilter
  • GPUImageBuffer

内置滤镜:

1. Color processing(色彩处理)
2. Image processing(图像处理)
3. Blends(混合)
4. Effects(效果)

Outputs(输出):

4种输出结果:
1. GPUImageView
2. GPUImageMovieWriter
3. GPUImageTextureOutput
4. GPUImageRawDataOutput

SupportFrameworks:

1. CoreMedia.framework
2. CoreVideo.framework
3. OpenGL ES.framework(1.0和2.0使用，3.0使用Metal)
4. QuartzCore.framework
5. AV Foundation.framework(捕捉视频)

GPUImage类的介绍:

1. GLProgram,shader管理，编译链接
2. GPUImageContext,OpenGL Context管理
3. GPUImageFramebuffer和GPUImageFramebufferCache,buffer管理
4. Source,数据源
5. Pipeline,处理管道
6. Filters,滤镜组合
7. Outputs,输出组件

图片处理示例:

  1. 饱和度滤镜
  • 原图-> GPUImagePicture-> GPUImageSaturationFilter(饱和度滤镜)-> GPUImageView->添加滤镜后的图片
  • 处理流程跟OpenGl ES 一样，只是更具有封装性

GPUImage基类的具体介绍:

GPUImage.h
GPUImage所有需要使用到的类的声明基本上都在这里了

GLProgram:

shader管理
GLProgram.h
1.变量声明，全局变量声明
{
    NSMutableArray  *attributes; //属性
    NSMutableArray  *uniforms; //通道
    GLuint          program,
    vertShader,  //顶点着色器
    fragShader;  //片元着色器
   }
2. 属性声明，记录编译信息等
@property(readwrite, nonatomic) BOOL initialized;//编译信息记录
@property(readwrite, copy, nonatomic) NSString *vertexShaderLog;
@property(readwrite, copy, nonatomic) NSString *fragmentShaderLog;
@property(readwrite, copy, nonatomic) NSString *programLog;
3.初始化，三种初始化方法，第一种是主要方法
/*传入顶点着色器代码和片元着色器代码
可以传入字符串类型，也可以传入文件类型，比如以.vsh/.fsh/.glsl等为后缀等命名的文件
GPUImage里自定义滤镜基本都是使用字符串类型:
*/- (id)initWithVertexShaderString:(NSString *)vShaderString
 fragmentShaderString:(NSString *)fShaderString;- (id)initWithVertexShaderString:(NSString *)vShaderString
 fragmentShaderFilename:(NSString *)fShaderFilename;- (id)initWithVertexShaderFilename:(NSString *)vShaderFilename
 fragmentShaderFilename:(NSString *)fShaderFilename;
4. 添加attribute
- (void)addAttribute:(NSString *)attributeName;
5.attribute和uniform的获取
//获得attribute- (GLuint)attributeIndex:(NSString *)attributeName;
//获得uniform- (GLuint)uniformIndex:(NSString *)uniformName;
6.program操作
- (BOOL)link;- (void)use;- (void)validate;
GLProgram.m
1. 初始化方法，后两种初始化方法都是在获取到本地文件路径后读取glsl字符串，然后调用第一种方法
//传入顶点着色器和片元着色器进行初始化- (id)initWithVertexShaderString:(NSString *)vShaderString
            fragmentShaderString:(NSString *)fShaderString;{
    if ((self = [super init]))
    {
        _initialized = NO;
        
        attributes = [[NSMutableArray alloc] init];
        uniforms = [[NSMutableArray alloc] init];
        program = glCreateProgram();
        
        //拿到着色器代码进行编译
        if (![self compileShader:&vertShader
                            type:GL_VERTEX_SHADER
                          string:vShaderString])
        {
            NSLog(@"Failed to compile vertex shader");
        }
        
        // Create and compile fragment shader
        if (![self compileShader:&fragShader
                            type:GL_FRAGMENT_SHADER
                          string:fShaderString])
        {
            NSLog(@"Failed to compile fragment shader");
        }
        
        //着色器编译后附着到program
        glAttachShader(program, vertShader);
        glAttachShader(program, fragShader);
    }
    
    return self;}
2. 着色器编译方法
- (BOOL)compileShader:(GLuint *)shader
                 type:(GLenum)type
               string:(NSString *)shaderString
{//    CFAbsoluteTime startTime = CFAbsoluteTimeGetCurrent();
    GLint status;
    const GLchar *source;
    
    //拿到source
    source =
      (GLchar *)[shaderString UTF8String];
    if (!source)
    {
        NSLog(@"Failed to load vertex shader");
        return NO;
    }
    
    //创建着色器
    *shader = glCreateShader(type);
    glShaderSource(*shader, 1, &source, NULL);
    glCompileShader(*shader);
    
    //获取shader信息
    glGetShaderiv(*shader, GL_COMPILE_STATUS, &status);
    if (status != GL_TRUE)
    {
        GLint logLength;
        glGetShaderiv(*shader, GL_INFO_LOG_LENGTH, &logLength);
        if (logLength > 0)
        {
            GLchar *log = (GLchar *)malloc(logLength);
            glGetShaderInfoLog(*shader, logLength, &logLength, log);
            if (shader == &vertShader)
            {
                self.vertexShaderLog = [NSString stringWithFormat:@"%s", log];
            }
            else
            {
                self.fragmentShaderLog = [NSString stringWithFormat:@"%s", log];
            }
            free(log);
        }
    }   
    
//CFAbsoluteTime linkTime = (CFAbsoluteTimeGetCurrent() - startTime);//    NSLog(@"Compiled in %f ms", linkTime * 1000.0);
 return status == GL_TRUE;}
3. 添加属性addAttribute，使用函数glBindAttribLocation
- (void)addAttribute:(NSString *)attributeName
{
    if (![attributes containsObject:attributeName])
    {
        [attributes addObject:attributeName];
        //glBindAttribLocation函数添加addattribute
        glBindAttribLocation(program,
                             (GLuint)[attributes indexOfObject:attributeName],
                             [attributeName UTF8String]);
    }}
4. 获取attribute和uniform
- (GLuint)attributeIndex:(NSString *)attributeName
{
    return (GLuint)[attributes indexOfObject:attributeName];
}- (GLuint)uniformIndex:(NSString *)uniformName
{
    return glGetUniformLocation(program, [uniformName UTF8String]);
}
5. 链接program
- (BOOL)link
{//    CFAbsoluteTime startTime = CFAbsoluteTimeGetCurrent();
    GLint status;
    
    //链接Program
    glLinkProgram(program);
    
    //获取link状态
    glGetProgramiv(program, GL_LINK_STATUS, &status);
    if (status == GL_FALSE)
        return NO;
    
    //link成功之后删除着色器，从program中去着色器信息
    if (vertShader)
    {
        glDeleteShader(vertShader);
        vertShader = 0;
    }
    if (fragShader)
    {
        glDeleteShader(fragShader);
        fragShader = 0;
    }
    
    self.initialized = YES;
//    CFAbsoluteTime linkTime = (CFAbsoluteTimeGetCurrent() - startTime);//    NSLog(@"Linked in %f ms", linkTime * 1000.0);
    return YES;
}
6. 使用和销毁program
- (void)use
{
    glUseProgram(program);}
- (void)validate;{
    GLint logLength;
    
    glValidateProgram(program);
    glGetProgramiv(program, GL_INFO_LOG_LENGTH, &logLength);
    if (logLength > 0)
    {
        GLchar *log = (GLchar *)malloc(logLength);
        glGetProgramInfoLog(program, logLength, &logLength, log);
        self.programLog = [NSString stringWithFormat:@"%s", log];
        free(log);
    }   
}
7. dealloc，删除着色器和program
- (void)dealloc
{
    if (vertShader)
        glDeleteShader(vertShader);
        
    if (fragShader)
        glDeleteShader(fragShader);
    
    if (program)
        glDeleteProgram(program);
       
}
GPUImageContext
GPUImage会有很多context，需要GPUImageContext进行context管理
GLProgram 和 GPUImageContext 不需要使用GPUImage的开发者更改和直接使用，这是GPUImage框架本身使用的
GPUImageFramebuffer/GPUImageFramebufferCache
Framebuffer的管理
//开辟Framebuffer// Initialization and teardown
- (id)initWithSize:(CGSize)framebufferSize;
- (id)initWithSize:(CGSize)framebufferSize textureOptions:(GPUTextureOptions)fboTextureOptions onlyTexture:(BOOL)onlyGenerateTexture;
- (id)initWithSize:(CGSize)framebufferSize overriddenTexture:(GLuint)inputTexture;
GPUimage实现filter和源码分析
fdsafwagdagadg6576的专栏
04-02 702
1 GPUimage 使用 2 GPUimage 源码 GPUimagefilter,GPUimagegroup GPUimageFilter.java, GPUimageFilterNative.java.gpu_image_filter.cc OpengGL的API和着色器工作流程： 1，通过OpenGL客户端的API（就是我们编写的代码）把各种顶点数据传到内存/GPU显存； 2、顶点着色器经过原始程序集之后，分配到对应的顶点数据； 3、光栅化，即正方体经过MVP矩阵映射到屏幕上之后，变.
图像处理库GPUImage简单使用
阿福的专栏
08-26 3796
一、介绍 GPUImage是一个基于OpenGL ES 2.0的开源的图像处理库，作者是Brad Larson。GPUImage将OpenGL ES封装为简洁的Objective-C或Swift接口，可以用来给图像、实时相机视频、电影等添加滤镜。 二、使用 1.导入GPUImage两种方式 a.使用cocopods导入 platform :ios, '9.0' target 'GPUImageDemo' do pod 'GPUImage' end b.手动导入 （1）.首先下...
GPUIMAGE说明
01-24 951
#import "GLProgram.h" // Base classes #import "GPUImageOpenGLESContext.h" #import "GPUImageOutput.h" #import "GPUImageView.h" #import "GPUImageVideoCamera.h" #import "GPUImageStillCamera.h" #import "
OpenGL之GPUImage源码分析
程序猿老樊的博客
05-31 599
在相机数据采集中，还有一些小的细节问题，比如相机前置与后置摄像头的左右镜像翻转问题。在前面讲到过，GPUImage 的纹理坐标原点是位于左上角的，所以使用 TEXTURE_NO_ROTATION 的纹理坐标实质上是将图像进行了上下翻转，两次调用TEXTURE_NO_ROTATION纹理坐标时，又将图像复原了，这也就可以解释为什么滤镜个数为偶数时，需要使用 mGLTextureFlipBuffer 纹理坐标将图像再进行一次翻转，而 mGLTextureBuffer 纹理坐标不需要了。
GPUImage 源码解析
Coder
01-07 417
GPUImage 实现链式编程的原理 链式编程的开始,所有的数据源都继承自 GPUImageOutput 链式编程的过程,所有的 filter 都继承自 GPUImageFilter , GPUImageFilter 继承自 GPUImageOutput 并且GPUImageFilter 遵守 GPUImageInput 协议; 所以所有的filter都可以作为输入源和输出; GPUImage...
GPUImage使用
翻肚鱼儿的博客
07-24 440
GPUImage项目下载地址：https://github.com/BradLarson/GPUImage.git 下载项目时如果下载不下来可以直接check一份（之前下载了好多次都是下载失败，最后没办法了就直接check一份了） 下载完成后打开项目，将项目中Headers中的所有头文件添加到自己的项目中，如下图： 打开项目文件夹找到libGPUImage.a，拖到自己的项目中，如下图所示 把下载下来的项目中的frameworks group拖到项目中（为了添加相应的库）如下图： 至此
GPUImage 源码分析
crazy_jack
05-02 1870
GPUImage源码解读 介绍 GitHub - cats-oss/android-gpuimage: Android filters based on OpenGL (idea from GPUImage for iOS) 做图片或者视频滤镜渲染，离不开 OpenGL，而在移动平台上最令人熟知的就是 GitHub - BradLarson/GPUImage2: GPUImage 2 is ...
GPUImage:适用于 Android 的 GPUImage
07-18
在 Android 应用开发中，GPUImage 可以用于实时滤镜、图像分析、计算机视觉任务等多种场景。 1. **GPU 加速处理**： - GPUImage 的核心理念是利用 GPU 进行图像处理，而不是依赖于 CPU。相较于 CPU，GPU 更适合...
GPUImage源码解读(一)
Philm_iOS的博客
08-02 655
导读: 系列文章会从结构到使用,细化到每一个变量, 使用方法全有对应 DEMO.也会有相对应的技术点扩展如(AVFoundation,OpenGL shader,CAEAGLLayer)等,目前是 Objective-C 版本的,后面会有Swift版本. GPUImage-Objective-C 官方源码 GPUImage-Swift 官方源码 GPUImage-Objective-C 添...
Android图像处理之GPUImage for Android
08-03
开发者可以通过分析和运行这个项目，快速了解如何在自己的应用中集成和使用GPUImage。 7. **GPUImageSample.apk**：这是GPUImageSample项目的安装包，用户可以直接在Android设备上安装，查看GPUImage实际应用的效果...
OpenGL 之 GPUImage 源码分析
音视频开发进阶
09-10 1167
GPUImage 是 iOS 上一个基于 OpenGL 进行图像处理的开源框架，后来有人借鉴它的想法实现了一个 Android 版本的 GPUImage ，本文也主要对 Android 版本的 GPUImage 进行分析。 概要 在 GPUImage 中既有对图像进行处理的，也有对相机内容进行处理的，这里主要以相机处理为例进行分析。 大致会分为三个部分： 相机数据的采集 Open...
GPUImage框架使用
woaimx_1314的博客
05-26 580
它是GPUImage框架的帧缓存管理器，可以创建、存储和管理多个帧缓存对象，并且可以在需要时快速地获取和释放帧缓存。它是所有输出对象的基类，定义了输出源应该具有的基本方法，例如获取处理后的纹理、获取处理后的图片、获取处理后的视频等。它是所有帧缓存对象的基类，保存了一个纹理对象和一些其他的数据，可以在需要时输出到屏幕或其他帧缓存中。它是所有输入对象的基类，定义了输入源应该具有的基本方法，例如需要处理的图像、需要处理的纹理等。它是所有滤镜对象的基类，定义了滤镜应该具有的基本方法，例如设置输入纹理、处理纹理等。
美颜重磅技术之GPUImage源码分析
欢迎关注公众号：【码农突围】，公号后台回复9999，可以获取一份500页的LeetCode刷题笔记。
03-30 1745
说到基于GPU的图像处理和实时滤镜，大家肯定会想到鼎鼎大名的GPUImage，这个项目确实为后续开发提供了很多方便，基本的图像处理工具一应俱全。但是学习借鉴GPUImage的项目结构，可以为我们提供不小的帮助。 GPUImage项目结构 GPUImage的项目结构其实很简单，Android版本就更是简陋，结构如下： 一堆滤镜（shader以及配套设置参数的代码） FilterGroup（利用FB...
GPUImage源码分析与使用（三）
最新发布
程序猿老樊的博客
05-31 214
【代码】GPUImage源码分析与使用（三）
iOS开发——GPUImage源码解析
weixin_30240349的博客
03-27 269
一、基本概念 GPUImage：一个开源的、基于openGL的图片或视频的处理框架，其本身内置了多达120多种常见的滤镜效果，并且支持照相机和摄像机的实时滤镜，并且能够自定义图像滤镜。同时也很方便在原有基础上加入自己的滤镜Filter，所有滤镜是基于opengl shader(着色器)实现的，所以滤镜效果图像处理是在GPU上实现的，处理效率比较高，在iPhone6及其以上手机，可以做到实时流...
GPUImage源码解读(三)
Philm_iOS的博客
08-03 528
GPUImageContext类，提供OpenGL ES基本上下文，GPUImage相关处理线程，GLProgram缓存、帧缓存。由于是上下文对象，因此该模块提供的更多是存取、设置相关的方法。 源码GPUImageContext 属性列表 // GPUImage处理OpenGL绘制的相关队列，串行队列 @property(readonly, nonatomic) dispatch_q...
GPUImage源码解析 -- OpenGL ES基础
u010029439的博客
07-10 363
https://www.jianshu.com/p/9a4a8d972d5e GPUImage是一个开源的图像处理工具，它基于OpenGL ES实现，Git地址为：https://github.com/BradLarson/GPUImage。GPUImage最大的好处是它提供了一套非常好的图像处理架构，并且提供了各种PhotoShop中常见的滤镜的着色器。使用者只需要通过对这些滤镜的组合，...
GPU Image 详解与框架源码分析
u010029439的博客
07-10 754
https://juejin.im/entry/5beebcf9e51d4576bc43506b GPU Image 详解与框架源码分析 阅读 479 收藏 11 2018-11-23 原文链接：www.jianshu.com WebRTC TURN 协议初识及 turnserver 实践juejin.im 一、前言 这篇文章咱们来看一下cats-oss的android-gp...
GPUImage源码解读(二十三)
Philm_iOS的博客
08-08 413
GPUImageFilter GPUImageFilter 是GPUImage中很重要、很基础的类，它可以处理帧缓存对象的输入输出，但是对纹理并不添加任何特效，也就是说只是简单的让纹理通过。它更多的是作为其它滤镜的基类，一些具体的滤镜由它的子类去完成。同时它也只能处理单个帧缓存对象的输入，处理多个帧缓存对象的输入也是由它的子类去完成 向量定义 //在 GPUImage 中主要用到了3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大王算法

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值