视频流的处理（实时美颜、滤镜）并通过简单的coreImage渲染

最新推荐文章于 2024-08-01 16:47:35 发布

Quinn士魁

最新推荐文章于 2024-08-01 16:47:35 发布

阅读量1.5w

点赞数

分类专栏： IOS精益编程文章标签：摄像头视频流 session

本文链接：https://blog.csdn.net/Xoxo_x/article/details/52523466

版权

本文介绍如何利用AVFoundation捕获摄像头视频流，进行实时美颜处理，然后通过CoreImage框架进行渲染。首先，从摄像头获取数据，接着对sampleBuffer进行处理，最后应用GPUImage库实现美颜效果并展示。

摘要由CSDN通过智能技术生成

主要思路：通过摄像头捕获画面，获取视频流之后，进行美颜处理，然后将处理后的流给coreImage进行渲染

视频的捕获：框架 AVFoundation/AVFoundation.h

说明：
 AVCaptureDevice 是关于相机硬件的接口。它被用于控制硬件特性，诸如镜头的位置、曝光、闪光灯等。

 AVCaptureOutput 是一个抽象类，描述 capture session 的结果。以下是三种关于静态图片捕捉的具体子类：

 AVCaptureStillImageOutput 用于捕捉静态图片
 AVCaptureMetadataOutput 启用检测人脸和二维码
 AVCaptureVideoOutput 为实时预览图提供原始帧
 AVCaptureSession 管理输入与输出之间的数据流，以及在出现问题时生成运行时错误。

说明：

 AVCaptureVideoPreviewLayer 是 CALayer 的子类，可被用于自动显示相机产生的实时图像。它还有几个工具性质的方法，可将 layer 上的坐标转化到设备上。它看起来像输出，但其实不是。另外，它拥有 session (outputs 被 session 所拥有)。


AVCaptureSession用来控制输入设备(AVCaptureDeviceInput)视频图像到流入输出缓冲区(AVCaptureOutput)的过程。一旦AVCaptureSession启动以后，就会收集来自输入设备的信息，并在适当的时候将这些信息输出到数据缓冲区中。


 AVCaptureVideoPreviewLayer默认情况下会显示来自输入设备的原始数据，如果要实现实时滤镜或在这个图层上绘制额外的物体，那么就要冲视频输出缓冲区获取数据帧数据，并对其进行处理，处理完毕后可将像素数据输出到另一个图层或者OpenGL上下文中。

**
如果仅仅获取摄像头数据：
效果如下：

**
这里写图片描述
代码如下：

- (void)viewDidLoad {
    [super viewDidLoad];
    // Do any additional setup after loading the view, typically from a nib.
    [self setupCaptureSession];
}
- (void)setupCaptureSession
{
      // 初始化GPUView
    _gpuView = [[GPUView alloc] initWithFrame:self.view.bounds];
    [self.view addSubview:_gpuView];
    self.view.backgroundColor = [UIColor redColor];

    NSError *error = nil;
    // 初始化第二个CIFilter

    // Create the session
    AVCaptureSession *session = [[AVCaptureSession alloc] init];

    // Configure the session to produce lower resolution video frames, if your
    // processing algorithm can cope. We'll specify medium quality for the
    // chosen device.
    session.sessionPreset = AVCaptureSessionPresetMedium;

    // Find a suitable AVCaptureDevice
    AVCaptureDevice *device = [AVCaptureDevice
                               defaultDeviceWithMediaType:AVMediaTypeVideo];

    // Create a device input with the device and add it to the session.
    AVCaptureDeviceInput *input = [AVCaptureDeviceInput deviceInputWithDevice:device
                                                                        error:&error];
    if (!input) {
        // Handling the error appropriately.
    }
    [session addInput:input];

    // Create a VideoDataOutput and add it to the session
    AVCaptureVideoDataOutput *output = [[[AVCaptureVideoDataOu