AVFoundation

最新推荐文章于 2024-02-04 10:17:03 发布

麦晓宇

最新推荐文章于 2024-02-04 10:17:03 发布

阅读量626

点赞数

分类专栏：音视频 ios

ios 同时被 2 个专栏收录

131 篇文章 1 订阅

订阅专栏

音视频

31 篇文章 7 订阅

订阅专栏

关于AVFoundation

AVFoundation是一个可以用来使用和创建基于时间的视听媒体的框架，它提供了一个能使用基于时间的视听数据的详细级别的Objective-C接口。例如：您可以用它来检查，创建，编辑或是重新编码媒体文件。也可以从设备中获取输入流，在视频实时播放时操作和回放。下图时AVFoundation在IOS中的架构。

AVFoundation在IOS中的位置

AVFoundation在OS X中的位置

在使用时，应尽量使用最高级别的抽象的控件：
1.如果只是想播放视频，应该使用AVKit框架。
2.在IOS中，如果只是想录制视频，可以使用UIKit框架（UIImagePickerController）.
但是，值得注意的是，一些用在AV Foundation-including的基于时间数据结构的原始数据结构和带有未公开的媒体数据描述的部分是声明在Core Media框架的。

AVFoundation知识点

1.Using Assets ［自己理解为：数据的来源］
这个资源可以来自自己的ipod媒体库或图片也可以时文件
创建一个Assets

NSRUL *url = //后跟一个网址 如电影文件等资源 
AVURLAsset *ansset = [[AVURLSset alloc] initwithURL:url  options:nil];

2.获得一个视频的图像
使用AVASsetImageGenerator类来实现
用来生成图像序列
3.Playback
我们在播放视频时可以使用AVPlayer和AVQueuePlayer播放,AVPlayer是AVQueuePlayer的父类

a.先创建一个路径
b.可以使用AVPlayerItem加载路径
c.使用AVPlayer播放文件

当然我们还可以控制它的播放速度
使用rate属性它是一个介于0.0－－1.0之间的数

我们也可以播放多个项目 :

NSArray *items  = // 设置一个播放的组合 
AVQueuePlayer ＊queueplayer ＝ ［［AVQueuePlayer alloc］initwithItems：items］； 
//然后使用AVPlayerItem  
AVPlayerItem ＊anItem ＝ ／／ get  a player item 
//使用canInsertItem：afterItem 测试

4.Media capture
我们可以配置预设图片的质量和分辨率

AVCaptureSessionPresetHigh High 最高的录制质量，每台设备不同
AVCaptureSessionPresetMedium Medium 基于无线分享的，实际值可能会改变
AVCaptureSessionPresetLow LOW 基于3g分享的
AVCaptureSessionPreset640x480 640x480 VGA
AVCaptureSessionPreset1280x720 1280x720 720p HD
AVCaptureSessionPresetPhoto Photo 完整的照片分辨率，不支持视频输出

判断一个设备是否适用：

AVCaptreSessuion *session = [[AVCaptureSession alloc]init]; 
if([session canSetSessionPreset:AVCaptureSessionPrese 1280x720]){ 
session.sessionPreset = AVCaptureSessionPreset 1280x720; 
}else{ 
// Handle the failure. 
}

可以在［session beginConfigration］, ［session commit configuration］中配置重新添加你想要适用的设备以及删除以前的设备等操作（详解在6）。
5.当我们不知道设备的一些特性时我们可以使用以下代码查找相应的设备

NSArray *devices = [AVCaptureDevice devices]; 
for(AVCaptureDevice *device in device){ 
 NSLog("Device name %@",[devic localizedName]); 
//当然还可以判断设备的位置 
if([device hasMediaType:AVMediaTypeVideo]){ 
if([device postion] == AVCaptureDevicePostionBack){ 
NSLog(@"Device postion :back"); 
}else{ 
NSLog(@"Device postion :front"); 
} 
} 
}

下面的demo说明如何找到视频输入设备：

NSArray ＊devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo]; 
NSMutableArray *torchDevices =  [[NSMutableArray alloc]init];  
 for(AVCaptureDevice *device in devices){ 
 if([device hasTorch]&&[device supportsAVCaptureSessionPreset:AVCaptureSessionPreset 640x480]){ 
[torchDevices addObject:device]; 
} 
}

6设备间切换

AVCaptureSession *session = //一个设备session 
[session beginConfiguration]; 

[session removeInput:frontFacingCameraDeviceInput]; 
[session AddInput:backFacikngCameraDeviceInput]; 

[session commitConfiguration];

7 配置AVCaptureDeviceInput

AVCaptureSession *captureSession = <#Get a capture session#>;  
AVCaptureDeviceInput *captureDeviceInput = <#Get a capture device input#>;  
// 检查是否适用 
if ([captureSession canAddInput:captureDeviceInput]) { 
// 适用则添加 
[captureSession addInput:captureDeviceInput]; 
} else { 
// Handle the failure. 
}

8 配置AVCaptureOutput
输出的类型：

a.AVCaptureMovieFileOutput 输出一个电影文件
b.AVCaptureVideoDataOutput 输出处理视频帧被捕获
c.AVCaptureAudioDataOutput 输出音频数据被捕获
d.AVCaptureStillImageOutput 捕获元数据

AVCaptureSession *captureSession = <#Get a capture session#>; 
AVCaptureMovieFileOutput *movieInput = <#Create and configure a movie output#>;  
if ([captureSession canAddOutput:movieInput]) { 
[captureSession addOutput:movieInput]; 
} else { 
// Handle the failure. 
}

9 保存到一个电影文件

AVCaptureMovieFileOutput *aMovieFileOutput = [[AVCaptureMovieFileOutput alloc] init]; 
CMTime maxDuration = <#Create a CMTime to represent the maximum duration#>;     

aMovieFileOutput.maxRecordedDuration = maxDuration;  

aMovieFileOutput.minFreeDiskSpaceLimit = <#An appropriate minimum given the quality of the movie format and the duration#>;

10 录音设备
使用AVCaptureFileOutputRecordingDelegate代理而且必须实现方法：
captureOutput:didFinishRecordingToOutputFileAtURL:fromConnections:error: method.
11 像素和编码格式

iphone 3G iphone 3GS iphone 4
yuvs,2vuy,BGRA,jpeg 420f,420v,BGRA,jpeg 420f, 420v, BGRA, jpeg

12 静态图像捕捉

AVCaptureStillImageOutput *stillImageOutput = [[AVCaptureStillImageOutput alloc] init]; 
NSDictionary *outputSettings = [[NSDictionary alloc] initWithObjectsAndKeys:AVVideoCodecJPEG,AVVideoCodecKey, nil]; 
[stillImageOutput setOutputSettings:outputSettings];

13 填充模式
支持使用videoGravity 设置三种模式：

● AVLayerVideoGravityResizeAspect:保留长宽比，未填充部分会有黑边
● AVLayerVideoGravityResizeAspectFill:保留长宽比，填充所有的区域
● AVLayerVideoGravityResize:拉伸填满所有的空间

设备之间切换:

- (AVCaptureDevice *)cameraWithPosition:(AVCaptureDevicePosition)position 
{ 
NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo]; 
for ( AVCaptureDevice *device in devices ) {
    if ( device.position == position ) return device; 
return nil; 
} 

- (void)swapFrontAndBackCameras { 
// 确保session已经在使用了
NSArray *inputs = self.session.inputs; 
for ( AVCaptureDeviceInput *input in inputs ) { 
    AVCaptureDevice *device = input.device; 
    if ( [device hasMediaType:AVMediaTypeVideo] ) { 
        AVCaptureDevicePosition position = device.position; 
        AVCaptureDevice *newCamera = nil; 
        AVCaptureDeviceInput *newInput = nil; 

        if (position == AVCaptureDevicePositionFront) {newCamera = [self cameraWithPosition:AVCaptureDevicePositionBack]; }
        else {newCamera = [self cameraWithPosition:AVCaptureDevicePositionFront]; }
        newInput = [AVCaptureDeviceInput deviceInputWithDevice:newCamera error:nil]; 

        // beginConfiguration 确保更改未被立即使用
        [self.session beginConfiguration]; 

        [self.session removeInput:input]; 
        [self.session addInput:newInput]; 

        // 更改立即实现
        [self.session commitConfiguration]; 
        break; 
    } 
}  
}

AVFoundation的使用

初步了解了AVFoundation框架，那么我们一般用来做什么呢？
一个方向是可以用它来扫描二维码。参考文档：使用系统原生代码处理QRCode，想要看懂参考中的代码，不得不了解些AVFoundation的使用啊。
1.session
AVFoundation是基于session(会话)概念的。一个session用于控制数据从input设备到output设备的流向。

声明一个session:

 AVCaptureSession *session = [[AVCaptureSession alloc] init];

session允许定义音频视频录制的质量。

[session setSessionPreset:AVCaptureSessionPresetLow];

2.capture device
定义好session后，就该定义session所使用的设备了。（使用AVMediaTypeVideo 来支持视频和图片）

AVCaptureDevice *captureDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];

3.capture device input
有了capture device, 然后就获取其input capture device，并将该input device加到session上。

AVCaptureDeviceInput *deviceInput = [AVCaptureDeviceInput deviceInputWithDevice:captureDevice error:&amp;error];
if ( [session canAddInput:deviceInput] )
[session addInput:deviceInput];

4.preview
在定义output device之前，我们可以先使用preview layer来显示一下camera buffer中的内容。这也将是相机的“取景器”。
AVCaptureVideoPreviewLayer可以用来快速呈现相机(摄像头)所收集到的原始数据。
我们使用第一步中定义的session来创建preview layer, 并将其添加到main view layer上。

AVCaptureVideoPreviewLayer *previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:session]; 
[previewLayer setVideoGravity:AVLayerVideoGravityResizeAspectFill];

CALayer *rootLayer = [[self view] layer];
[rootLayer setMasksToBounds:YES];
[previewLayer setFrame:CGRectMake(-70, 0, rootLayer.bounds.size.height, rootLayer.bounds.size.height)];
[rootLayer insertSublayer:previewLayer atIndex:0];

5.start Run
最后需要start the session.

[session startRunning];

AVFoundation拍照和录制视频

AVFoundation中提供了很多现成的播放器和录音机，但是事实上它还有更加底层的内容可以供开发者使用。因为AVFoundation中抽了很多和底层输入、输出设备打交道的类，依靠这些类开发人员面对的不再是封装好的音频播放器AVAudioPlayer、录音机（AVAudioRecorder）、视频（包括音频）播放器AVPlayer，而是输入设备（例如麦克风、摄像头）、输出设备（图片、视频）等。首先了解一下使用AVFoundation做拍照和视频录制开发用到的相关类：

AVCaptureSession：媒体（音、视频）捕获会话，负责把捕获的音视频数据输出到输出设备中。一个AVCaptureSession可以有多个输入输出：

AVCaptureDevice：输入设备，包括麦克风、摄像头，通过该对象可以设置物理设备的一些属性（例如相机聚焦、白平衡等）。

AVCaptureDeviceInput：设备输入数据管理对象，可以根据AVCaptureDevice创建对应的AVCaptureDeviceInput对象，该对象将会被添加到AVCaptureSession中管理。

AVCaptureOutput：输出数据管理对象，用于接收各类输出数据，通常使用对应的子类AVCaptureAudioDataOutput、AVCaptureStillImageOutput、AVCaptureVideoDataOutput、AVCaptureFileOutput，该对象将会被添加到AVCaptureSession中管理。注意：前面几个对象的输出数据都是NSData类型，而AVCaptureFileOutput代表数据以文件形式输出，类似的，AVCcaptureFileOutput也不会直接创建使用，通常会使用其子类：AVCaptureAudioFileOutput、AVCaptureMovieFileOutput。当把一个输入或者输出添加到AVCaptureSession之后AVCaptureSession就会在所有相符的输入、输出设备之间建立连接（AVCaptionConnection）：

AVCaptureVideoPreviewLayer：相机拍摄预览图层，是CALayer的子类，使用该对象可以实时查看拍照或视频录制效果，创建该对象需要指定对应的AVCaptureSession对象。

使用AVFoundation拍照和录制视频的一般步骤如下：

创建AVCaptureSession对象。
使用AVCaptureDevice的静态方法获得需要使用的设备，例如拍照和录像就需要获得摄像头设备，录音就要获得麦克风设备。
利用输入设备AVCaptureDevice初始化AVCaptureDeviceInput对象。
初始化输出数据管理对象，如果要拍照就初始化AVCaptureStillImageOutput对象；如果拍摄视频就初始化AVCaptureMovieFileOutput对象。
将数据输入对象AVCaptureDeviceInput、数据输出对象AVCaptureOutput添加到媒体会话管理对象AVCaptureSession中。
创建视频预览图层AVCaptureVideoPreviewLayer并指定媒体会话，添加图层到显示容器中，调用AVCaptureSession的startRuning方法开始捕获。
将捕获的音频或视频数据输出到指定文件。

 
 #import "ViewController.h"
#define WIDTH [UIScreen mainScreen].bounds.size.width
#define HEIGHT [UIScreen mainScreen].bounds.size.height
@interface ViewController ()<AVCaptureVideoDataOutputSampleBufferDelegate>
@property (nonatomic,strong)AVCaptureSession *session;
@property (nonatomic,strong)AVCaptureVideoPreviewLayer *preViewLayer;
@end
@implementation ViewController{
    AVCaptureConnection *_videoConnection;//输入输出建立连接
    AVCaptureConnection *_audioConnection;
}
- (void)viewDidLoad {
    [super viewDidLoad];
    [self initView];
    // Do any additional setup after loading the view, typically from a nib.
}
-(void)initView{
    //初始化会话
    NSError * error = nil;
    self.session = [[AVCaptureSession alloc] init];
//    ???
    self.session.sessionPreset = AVCaptureSessionPresetMedium;
    //设置摄像头
    AVCaptureDevice * device = [self cameraWithPosition:AVCaptureDevicePositionFront];
    //获取输入设备
    AVCaptureDeviceInput * input = [AVCaptureDeviceInput deviceInputWithDevice:device error:&error];
    if (error) {
        NSLog(@"%@",error);
    }
    //添加输入设备
    if ([_session canAddInput:input]) {
        [self.session addInput:input];
    }
    //获取输出设备
    AVCaptureVideoDataOutput * output = [[AVCaptureVideoDataOutput alloc] init];
    dispatch_queue_t queue = dispatch_queue_create("myQueue", NULL);
    [output setSampleBufferDelegate:self queue:queue];
    output.videoSettings = [NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange] forKey:(NSString *)kCVPixelBufferPixelFormatTypeKey];
    output.alwaysDiscardsLateVideoFrames = YES;
    [self startRuning];
    //添加输出设备
    if ([self.session canAddOutput:output]) {
        [self.session addOutput:output];
    }
    //创建浏览层,用于展示
    self.preViewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:self.session];
    self.preViewLayer.frame = CGRectMake(0, 0, WIDTH, 500);
    self.preViewLayer.videoGravity = AVLayerVideoGravityResizeAspectFill;//填充模式
    [self.view.layer addSublayer:self.preViewLayer];
    //
    _videoConnection = [output connectionWithMediaType:AVMediaTypeVideo];
}
-(void)startRuning{
    [self.session startRunning];
}
// 选择是前摄像头还是后摄像头
- (AVCaptureDevice *)cameraWithPosition:(AVCaptureDevicePosition) position {
    NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
    for (AVCaptureDevice *device in devices) {
        if ([device position] == position) {
            return device;
        }
    }
    return nil;
}
// 关键方法，捕获摄像头每一帧的画面并编码
-(void) captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
    if (connection == _videoConnection) {
//        [_manager264 encoderToH264:sampleBuffer];
    }
    if (connection == _audioConnection) {
        NSLog(@"yy");
    }
}
@end

iOS开发直播需要的准备的更多相关文章

参考文档：AVFoundation的使用 AVFoundation总结

麦晓宇

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
AVFoundation

关于AVFoundationAVFoundation是一个可以用来使用和创建基于时间的视听媒体的框架，它提供了一个能使用基于时间的视听数据的详细级别的Objective-C接口。例如：您可以用它来检查，创建，编辑或是重新编码媒体文件。也可以从设备中获取输入流，在视频实时播放时操作和回放。下图时AVFoundation在IOS中的架构。AVFoundation在IOS中的位置
复制链接

扫一扫