1、AVFoundation简介
AVFoundation是苹果在iOS和OS X系统中用于处理基于时间的媒体数据的Objective-C框架. 供使用者来开发媒体类型的应用程序。
如果只是进行简单的视频录制,使用UIKit中的UIImagePickerController
就可以了。如果需要播放视频,使用AVKit框架也足够了。但是如果需要进行视频文件的处理等更灵活等操作,就需要使用到AVFoundation等底层的框架了。
-
CoreAudio : 处理所有音频事件.是由多个框架整合在一起的总称,为音频和MIDI内容的录制,播放和处理提供相应接口.甚至可以针对音频信号进行完全控制,并通过Audio Units来构建一些复杂的音频处理.有兴趣的可以单独了解一下这个框架.
-
Core Video : 是Mac OS和ios系统上针对数字视频所提供的普通模式。Core Video为其相对的Core Media提供图片缓存和缓存池支持,提供了一个能够对数字视频逐帧访问的接口。
-
CoreMedia: 是AVFoundation所用到低层级媒体管道的一部分.提供音频样本和视频帧处理所需的低层级数据类型和接口.
-
CoreAnimation: 动画相关框架, 封装了支持OpenGL和OpenGL ES功能的ObjC各种类. AVFoundation可以利用CoreAnimation让开发者能够在视频的编辑和播放过程中添加动画和图片效果.
2、数据采集
3.1 采集过程
为了管理从相机或者麦克风等这样的设备捕获到的信息,我们需要输入对象(input)和输出对象(output),并且使用一个会话(AVCaptureSession)来管理 input 和 output 之前的数据流:
通过单个 session,也可以管理多个 input 和 output 对象之间的数据流,从而得到视频、静态图像和预览视图。input 可以有一个或多个输入端口,output 也可以有一个或多个数据来源。
当添加 input 和 output 到 session 中时,session 会自动建立起一个连接(AVCaptureConnection)。我们可以使用这个 connection 来设置从 input 或者 从 output 得到的数据的有效性,也可以用来监控在音频信道中功率的平均值和峰值。
3.1.1 示例代码
仅录制音频
let audioSettings = [AVFormatIDKey: kAudioFormatLinearPCM, // 格式
AVSampleRateKey: 44100, // 采样率
AVNumberOfChannelsKey: 1, // 声道数
AVLinearPCMBitDepthKey: 16] // 位深度
let url = URL(fileURLWithPath: "\(NSHomeDirectory())/tmp/audio.pcm")
do {
let recorder = try AVAudioRecorder(url: url, settings: audioSettings)
recorder.record()
} catch let error {
print(error)
}
录制视频
let session = AVCaptureSession()
if session.canSetSessionPreset(.hd1280x720) {
session.sessionPreset = .hd1280x720
}
self.session = session
// 添加视频源
let videoDevice = AVCaptureDevice.default(for: .video)
if let device = videoDevice {
do {
let input = try AVCaptureDeviceInput(device: device)
if session.canAddInput(input) {
session.addInput(input)
}
} catch let error {
print(error)
}
}
// 添加音频源
let audioDevice = AVCaptureDevice.default(for: .audio)
if let device = audioDevice {
do {
let input = try AVCaptureDeviceInput(device: device)
if session.canAddInput(input) {
session.addInput(input)
}
} catch let error {
print(error)
}
}
// 输出每一帧
let dataOutput = AVCaptureVideoDataOutput()
dataOutput.videoSettings = [kCVPixelBufferPixelFormatTypeKey: kCVPixelFormatType_420YpCbCr8BiPlanarFullRange] as [String :