音视频的采集

最新推荐文章于 2024-04-16 01:32:36 发布

风月平分

最新推荐文章于 2024-04-16 01:32:36 发布

阅读量660

点赞数

分类专栏：音视频文章标签： ios

本文链接：https://blog.csdn.net/weixin_38798865/article/details/124037815

版权

音视频专栏收录该内容

2 篇文章 0 订阅

订阅专栏

概述

音视频采集是直播架构的第一环，是视频的来源
其实视频的采集有多个应用场景：比如二维码开发
音视频采集包括两部分
视频采集
音频采集
在iOS开发中，是可以同步采集视频&音频的，使用方式也非常简单
相关的采集API都封装在AVFoundation框架中，导入对应框架，实现功能即可

采集步骤

相关API主要在AVFoundation框架中，因此需要先导入框架

创建捕捉会话（AVCaptureSession）

该会话用于连接之后的输入源&输出源

```
输入源：摄像头&话筒
```

输出源：拿到对应的音频&视频数据的出口

会话：用于将输入源&输出源连接起来

fileprivate lazy var session = AVCaptureSession()

设置视频输入源&输出源

输入源（AVCaptureDeviceInput）：从摄像头输入

输出源（AVCaptureVideoDataOutput）：可以设置代理，在代理方法中拿到数据

```
将输入&输出添加到会话中
```

 // 给会话设置视频源（输入源&输出源）
fileprivate func setupVideoSource() {
        // 1.创建输入
        // 1.1.获取所有的设备（包括前置&后置摄像头）builtInTelephotoCamera,builtInDualCamera,builtInTrueDepthCamera
        guard let device = AVCaptureDevice.DiscoverySession.init(deviceTypes: [.builtInWideAngleCamera], mediaType: .video, position: .front).devices.first else { return }
        
        // 1.3.通过前置摄像头创建输入设备
        guard let videoInput = try? AVCaptureDeviceInput(device: device) else { return }
        self.vedioInput = videoInput
        // 2.创建输出源
        // 2.1.创建视频输出源
        let videoOutput = AVCaptureVideoDataOutput()
        
        // 2.2.设置代理,以及代理方法的执行队列（在代理方法中拿到采集到的数据）
        let queue = DispatchQueue.global()
        videoOutput.setSampleBufferDelegate(self, queue: queue)
        
        self.videoOutPut = videoOutput
        
        // 3.将输入&输出添加到会话中
        addToSession(videoInput, videoOutput)
    }
    
     // 添加到session
    fileprivate func addToSession(_ input: AVCaptureInput,_ output: AVCaptureOutput) {
        // 3.将输入&输出添加到会话中
        session.beginConfiguration()
        if session.canAddInput(input) {
            session.addInput(input)
        }
        if session.canAddOutput(output) {
            session.addOutput(output)
        }
        session.commitConfiguration()
    }

设置音频输入源&输出源

输入源（AVCaptureDeviceInput）：从话筒输入

输出源（AVCaptureAudioDataOutput）：可以设置代理，在代理方法中拿到数据

```
将输入&输出添加到会话中
```

// 给会话设置音频源（输入源&输出源）
    fileprivate func setupAudioSource() {
        // 1.创建输入
        guard let device = AVCaptureDevice.DiscoverySession.init(deviceTypes: [.builtInMicrophone], mediaType: .audio, position: .unspecified).devices.first else { return }
        guard let audioInput = try? AVCaptureDeviceInput(device: device) else { return }
        
        // 2.创建输出源
        let audioOutput = AVCaptureAudioDataOutput()
        let queue = DispatchQueue.global()
        audioOutput.setSampleBufferDelegate(self, queue: queue)
        
        addToSession(audioInput, audioOutput)
    }

添加预览图层（可选）

如果希望用户看到采集的画面，可以添加预览图层

该预览图层不是必须的，及时没有添加也可以正常采集数据

// 添加预览图层
    fileprivate func setupPreviewLayer() {
        // 1.创建预览图层
        let previewLayer = AVCaptureVideoPreviewLayer(session: session)
        
        // 2.设置图层的属性
        previewLayer.frame = view.bounds
        
        // 3.将图层添加到view中
        view.layer.insertSublayer(previewLayer, at: 0)
        self.previewLayer = previewLayer
    }

开始采集即可
调用会话（AVCaptureSession）的startRunning方法即可开始采集

 // 开始采集
 session.startRunning()

停止扫描

比如用户不再直接，我们需要停止扫描

移除预览图层（不再直播肯定不需要预览图层了）

停止扫描（调用session的stopRunning方法）

将session设置为nil（对象不再使用，指针置空）

// 停止采集
session.stopRunning()

切换镜头（前置&后置摄像头）

切换步骤

```
    给切换过程添加动画
```

    获取当前摄像头是前置还是后置

    取出相反的摄像头（之前是前置，这次取出后置）

    通过新摄像头重新获取设备（AVCaptureDevice）

    通过设备（AVCaptureDevice）创建新的输入（AVCaptureDeviceInput）

```
    移除旧input&添加新的input
```

    注意：修改session配置之前先调用开启修改配置选项，配置完成后，调用提交修改配置选项

```
    session?.beginConfiguration()
```
```
    session?.commitConfiguration()
```
```
    保存新的input
```

/// 切换摄像头
    @IBAction func rotateCamera(_ sender: UIButton) {
        
        // 0.执行动画
        let rotaionAnim = CATransition()
        rotaionAnim.type =  .fade
        rotaionAnim.subtype = .fromLeft
        rotaionAnim.duration = 0.5
        view.layer.add(rotaionAnim, forKey: nil)
        
        
        // 拿到之前的设备
        guard let vedioInput = vedioInput else {
            return
        }
        // 计算现在要切换的设备（如果之前是前置现在就是后置）
        let position: AVCaptureDevice.Position = vedioInput.device.position == .front ? .back : .front
        // 获取对象的输入对象
        guard let device = AVCaptureDevice.DiscoverySession.init(deviceTypes: [.builtInWideAngleCamera], mediaType: .video, position: position).devices.first else { return }
        
        // 通过设备创建输入设备
        guard let newVideoInput = try? AVCaptureDeviceInput(device: device) else { return }
        // 记录当前的设备
        self.vedioInput = newVideoInput
        // 移除之前的  添加新的
        session.beginConfiguration()
        session.removeInput(vedioInput )
        if session.canAddInput(newVideoInput) {
            session.addInput(newVideoInput)
        }
        session.commitConfiguration()
    }

写入文件

**写入文件步骤**

    创建AVCaptureMovieFileOutput对象

```
    用于将音频视频写入文件
```

    将movieFileOutput对象，添加到session的输出中

```
    写入文件也是一种输出
```
```
    设置视频的稳定模式
```

    不设置可能会出现视频跳帧等问题

```
    通常设置为自动即可
```
```
    开始写入
```
```
    录制完成，停止写入即可
```

/// 存储音视频到文件
    fileprivate func setupMovieOutputFile() {
        // 获取文件的输出对象
        let fileOutput = AVCaptureMovieFileOutput()
        self.movieFileOutput = fileOutput
        // 创建文件路径
        let filePath = NSSearchPathForDirectoriesInDomains(.documentDirectory, .userDomainMask, true).first! + "/app.mp4"
        
        let fileUrl = URL(fileURLWithPath: filePath)
        // 获取视频的连接
        let connection = fileOutput.connection(with: .video)
        // 设置视频的稳定模式
        connection?.automaticallyAdjustsVideoMirroring = true
        
        session.beginConfiguration()
        if session.canAddOutput(fileOutput) {
            session.addOutput(fileOutput)
        }
        session.commitConfiguration()
        
        fileOutput.startRecording(to: fileUrl, recordingDelegate: self)
    }

停止写入代码

// 0.停止写入
        self.movieFileOutput?.stopRecording()

在代理方法中监听开始、结束事件

extension ViewController : AVCaptureFileOutputRecordingDelegate {
    func capture(_ captureOutput: AVCaptureFileOutput!, didStartRecordingToOutputFileAt fileURL: URL!, fromConnections connections: [Any]!) {
        print("开始录制")
    }

    func capture(_ captureOutput: AVCaptureFileOutput!, didFinishRecordingToOutputFileAt outputFileURL: URL!, fromConnections connections: [Any]!, error: Error!) {
        print("停止录制")
    }
}

Demo地址