Core Image Programming Guide--图像编程指南

一、介绍
Core Image是一个处理和分析图像的技术，被设计用来提供接近实时处理静态和视频图像。Core Image隐藏了低级的graphics 处理过程，提供了一个易于使用的程序界面（API）。你不需要知道OpenGL ES的细节，也不需要知道GCD。它替你处理这些。

 
1、Core Image 框架提供：
1）访问内置的图像处理filter
2）检测特征能力
3）支持自动图像增强
4）连接多个filter来创建自己想要的效果。

2、Core Image为iOS提供了超过90个内置filter，为OS X提供了超过120个的filter。你通过提供key-value对来设置filter的输入参数。filter的output可以作为另一个filter的input，这样就可以把多个filter连接起来，形成自己想要的效果。
filter有一打多的categories。一些被设计用来获得艺术的效果，例如stylize和halfone filter categories。另一些被设计用来优化修正图像问题，例如color adjustment 和 sharpen filters 。
Core Image可以分析一幅图像的质量，并提供了一系列filter来优化和调整这些，例如色度、对比度和色调等。
Core Image可以识别静止图像的人脸特征，并且可以在视频图像中追踪它们。知道脸在什么位置，你可以决定在什么地方应用filter。

3、Core Image有内置的filter相关文档。你可以查询系统来找出哪些filter是可用的。然后，对于每个filter，你可以获得一个字典，其中包含它的属性，例如输入参数、默认参数值、最小和最大值、display name，等等。


二、处理图像：
Core Image有3个类来支持图像处理：
1）CIFilter：表示一个效果，其至少有一个输入参数和产出一个output image。
2）CIImage：不可变对象，表示一幅图像。你可以synthesize image data或从一个file提供或从另一个CIFilter对象的output提供。
3）CIContext：从一个filter提供的对象，用于Core Image绘制结果。

1、概览
直接看例子：
CIContext *context = [CIContext contextWithOptions:nil]; // 1创建一个CIContext对象
CIImage *image = [CIImage imageWithContentsOfURL:myURL]; // 2创建一个CIImage对象
CIFilter *filter = [CIFilter filterWithName:@"CISepiaTone"]; // 3 创建一个filter，并设置其输入参数
[filter setValue:image forKey:kCIInputImgeKey];
[filter setValue:[NSNumber numberWithFloat:0.8f] forKey:@"InputIntensity"];
CIImage *result = [filter valueForKey:kCIOutputImageKey]; // 4 获得output图像，其输出是一个如何处理图像的处方，并没有实际被渲染。
CGImageRef cgImage = [context createCGImage:result fromRect:[result extent]; // 5 渲染CIImage到CGImage。

重要通知：一些filter处理图像是无限域的，例如在CICategoryTileEffect category中的filter。在渲染之前，无限图像必须或者被cropped（使用CICrop Filter），或者你必须指定一个有限维度的rectangle来渲染图像。

2、内置的filter：
一个filter category指定了效果的类型--blur(模糊)、distortion(变形)、generator(生成器?)、等等---或者指定了其使用目标---still image(静态图像)、video(视频)、nonsquare pixels(非方阵像素?)、等等。一个filter可以属于多个category。一个filter还拥有一个display name，这个名字是显示给用户看的，还有一个filter name，这个名字是你用来通过代码访问filter的名字。
大多数filter有多个input parameters，让你来控制如何完成处理。每个输入参数有一个attribute class，指定了其数据类型，例如NSNumber。一个输入参数可以有另一些属性，例如其默认值，允许的最小值和最大值，输入参数的display name，或其他任何在CIFilter 类中描述的属性。
例如，CIColorMonochrome filter有3个输入参数--需要处理的image，一个monochrome color，和color intensity（颜色强度）。你需要提供图像和选项--color和color intensity。大多数filters，包括CIColorMonochrome filter，为每个非图像的参数都设置了默认值。

Core Image使用KVC，这意味着你可以通过KVC获得和设置一个filter的属性。

3、创建一个Core Image Context：
1)方法：
a）contextWithOptions:         ：Renderer可以是CPU或GPU，仅iOS支持。
b）contextWithCGContext:options:和NSGraphicsContext       ： Renderer可以是CPU或GPU，仅OSX支持。
c)   contextWithEAGLContext:   和 contextWithEAGLContext:options:         ：Renderer可以是CPU，仅iOS支持。
d) contextWithGLLContext:pixelFormat:options:和contextWithCGLContext:pixelFormat:colorSpace:options:     ：Renderer可以是CPU，仅OSX支持。

2)当你不需要实时性能时，创建一个Core Image Context：
CIContext *context=[CIContext contextWithOptions:nil];
如果要指定是CPU还是GPU来renderering，可以创建一个options字典，并设置kCIContextUserSoftwareRe nderer键为相应的布尔值。CPU渲染慢于GPU，但是使用GPU，resulting image在其被拷贝回CPU内存和将其转换为另一个image类型之前是不会被显示的。

3)当你需要实时性能时，创建CIContext：
你应该从EAGL Context创建而不是使用contextWithOptions:，并指定GPU。优势是rendered image驻留在GPU中，并且永远不会拷贝回CPU内存中。首先你需要创建一个EAGL Context：
myEAGLContext=[[EAGLContext alloc]initWithAPI:kEAGLRenderingAPIOpenGLE S2];
然后使用方法contextWithEAGLContext:来创建CIContext对象。
你应该关闭color management（通过提供null值给working color space）。Color management降低了性能。
NSMutableDictionary *options=[[NSMutableDictionary alloc]init];
[options setObject:[NSNull null] forKey:kCIContextWorkingColorSp ace];
myContext=[CIContext contextWithEAGLContext:myEAGLContext options:options];

4)在OSX中创建CIContext
...

4、创建CIImage对象：
时刻记住CIImage只是一个处理实际图像的处方。CIImage实际上不产出任何pixels，直到其结果被渲染到destination。
1）创建方法：
a）图像源为URL的方法：imageWithContentsOfURL: 和imageWithContentsOfURL:options
b）图像源为Quartz 2D Image(CGImageRef)：imageWithCGImage:
c) 图像源为Bitmap Data：ImageWithBitmapData:bytesPerRow:format:colorSpace: 和 imageWithImageProvider:size:format:colorSpace:options:
d）图像源为Emcode data：imageWithData:
e) 图像源为OpenGL texture: imageWithTexture:size:flipped:colorSpace:
f) ...

5、创建CIFilter：
使用filterWithName:来获得filter，name必须是filter的filter name。
在iOS中，逆获得filter的同时，其输入参数的默认值已经就设置好了，但是在OS X中，其输入参数刚开始为未定义，你还需要使用setDefaults来设置默认值。
如果你不知道一个filter的输入参数，你可以使用inputKeys来获得它们。使用setValue:forKey:来设置值。
让我们来看一个例子，使用filter来调整image的色彩度。
首先获得这个filter，它叫CIHueAdjust.
CIFilter *hueAdjust = [CIFilter filterWithName:@"CIHueAdjust"];
这个filter有2个输入参数，一个是input Image，另一个是input angle。input angle与在HSV和HLS color space中的hue的位置有关。这个角度值可以在0.0到2 pi之间。0表示颜色红；2/3 pi表示 green； 4/3 pi表示 blue。
[hueAdjust setValue: image forKey: @"inputImage"];
[hueAdjust setValue: [NSNumber numberWithFloat: 2.094] forKey: @"inputAngle"];


6、获得输出image:
使用kCIOutputImageKey=@"outputImage"键来获得输出：
CIImage *result=[hueAdjust valueForKey:@"outputImage"];

7、Rendering（渲染）the Resulting output Image：
a）方法drawImage:inRect:fromRect:   在iOS中，这个方法只渲染使用contextWithEAGLContext:创建的CIContext。
b）方法createCGImage:fromRect: 和 createCGImage:fromRect:format:colorSpace:
c）方法render:toBitmap:rowBytes:bounds:format:colorSpace:
d）方法createCGLayerWithSize:info:   只在iOS有效
e）方法render:toCVPixelBuffer: 和render:toCVPixelBuffer:bounds:colorSpace: 只在iOS有效

8、线程安全：
CIContext和CIImage都是不可变的，这意味着它们是线程安全的。但是CIFilter对象是可变的。一个CIFilter不能在多个线程中共享。如果你的应用是多线程的，每个线程必须创建其自己的CIFilter。否则，你的应用会表现的出人意料。

9、Chaining Filters：
10、使用Transition Effects：
Transition一般用在不同的images之间，或者不同场景的切换。这些效果需要时间来渲染，需要你设置一个timer。这个章节的目的是显示如何设置timer。你将学习到如何设计和应用filter（CICopyMachine）到两个静态图像。CICopyMachine filter创建一个light bar，就像你在copy machine或image scanner时看到的一样。light bar从左向右扫过原始图像，并显示目标图像。如下图所示：

 
步骤：
1) 创建CImage对象用来transition
2）设置和安排timer
3）创建CIContext对象
4）创建CIFilter对象
5）设置filter的输入参数。
6）设置要处理的源和target image
7）计算时间
8）应用filter
9）绘制结果
10）重复8-10直到transition结束。
例子：假设自定义一个View。
1）在awakeFromNib中设置源image和target image和设置timer：
。。。省略
  [[NSRunLoop currentRunLoop] addTimer: timer   forMode: NSDefaultRunLoopMode];
  [[NSRunLoop currentRunLoop] addTimer: timer   forMode: NSEventTrackingRunLoopMo de];
2）设置transition filter：
- (void)setupTransition
{
       CIVector   *extent;
       float           w,h;
 
       w           = thumbnailWidth;
       h           = thumbnailHeight;
 
       extent = [CIVector vectorWithX: 0   Y: 0   Z: w   W: h];
 
       transition   = [CIFilter filterWithName: @"CICopyMachineTransition"];
         // Set defults on OS X; not necessary on iOS
       [transition setDefaults];
       [transition setValue: extent   forKey: @"inputExtent"];
}
3）在drawRect:方法中
- (void)drawRect: (NSRect)rectangle
{
       float     t;
       CGRect   cg = CGRectMake(NSMinX(rectangle), NSMinY(rectangle),NSWidth(rectangle), NSHeight(rectangle));
 
       t     = 0.4*([NSDate timeIntervalSinceReferen ceDate] - base);
       if(context == nil)
       {
               context = [CIContext contextWithCGContext: [[NSGraphicsContext currentContext] graphicsPort] options: nil];
       }

       if(transition == nil)
               [self setupTransition];
         [context drawImage: [self imageForTransition: t + 0.1] inRect: cg fromRect: cg];
}
。。。需要的时候再查吧

11、应用filter到video：
Core Image和Core Video可以共同协作来达到很多效果。主要是在OS X中的。略过

三、检测图像中的脸：
Core Image是人脸检测，不是人脸识别。检测是指出包含人脸特征的矩形，识别是指出特定的某人的脸。在Core Image检测到人脸后，它可以提供人脸的信息，例如眼睛和嘴的位置。它还可以在视频中追踪一个指定的脸。

 
1、检测脸：
使用CIDetector类来查找一幅图中的脸
CIContext *context = [CIContext contextWithOptions:nil]; // 1
NSDictionary   *opts = [NSDictionary dictionaryWithObject:CIDetectorAccuracyHigh  forKey:CIDetectorAccuracy]; // 2 指定detector的选项，这里是指定了精度
CIDetector *detector = [CIDetector detectorOfType:CIDetectorTypeFace   context:context  options:opts]; // 3
opts = [NSDictionary dictionaryWithObject: [[myImage properties] valueForKey:kCGImagePropertyOrientat ion] forKey:CIDetectorImageOrientati on]]; // 4 让Core Image知道image的方向是很重要的。
NSArray *features = [detector featuresInImage:myImage   options:opts]; // 5 包含一组CIFaceFeature对象，每个CIFaceFeature对象表示一个face，可以获得特征，例如眼睛和嘴巴的位置。

2、获得脸和脸部特征：
脸部特征包括：
1）左眼和右眼的位置
2）嘴巴的位置
3）tracking ID和tracking frame count ，Core Image使用的用来在视频中追踪用的

在你使用CIDetector获得一组CIFaceFeature对象之后，你可以循环这个数组来检查每个脸的bounds和其特征。
       for (CIFaceFeature *f in features)
       {
               NSLog(@"%@",NSStringFromCGRect(f.bounds));
               if (f.hasLeftEyePosition)
                       printf("Left eye %g %g\n", f.leftEyePosition.x, f.leftEyePosition.y);
               if (f.hasRightEyePosition)
                       printf("Right eye %g %g\n", f.rightEyePosition.x, f.rightEyePosition.y);
               if (f.hasMouthPosition)
                       printf("Mouth %g %g\n", f.mouthPosition.x, f.mouthPosition.y);
       }

四、Auto Enhancing Images：
Core Image的自动增强特性分析一幅图像的histogram(直方图)，人脸区域内容，和元数据属性。然后它返回一个CIFiter数组，其中的CIFiter的输入参数都已经设好值，为改善被分析的图像。
1、Auto Enhancement Filters:
下面列出了Core Image使用的用来自动增强图像的filters，这些filters补救一些在图片中最常用的issue。
1）CIRedEyeCorrection filter：用来修改red/amber(琥珀色)/white eye due to camera flash
2) CIFaceBalance filter：用来调整人脸的颜色
3）CIVibrance Filter：用来增加没有变形skin tones的图像的饱和度
4）CIToneCurve filter：用来调整图像的对比度
5）CIHighlightShadowAdjust filter：用来调整shadow details。

2、使用Auto Enhancement Filters：
只有2个方法：autoAdjustmentFilters和autoAdjustmentFiltersWit hOptions:。在大多数情况下，你会使用一个options字典。
你可以这样设置options：
1）image的方向，这对CIRedEyeCorrection和CIFaceBalance filter很重要。
2）是否只应用red eye correction：设置kCIImageAutoAdjustEnhanc e为NO。
3）是否应用除了red eye correction之外的所有filters：设置kCIImageAutoAdjustRedEye 为NO。

autoAdjustmentFiltersWit hOptions:方法返回一组options filters，然后你将使用这些filters chain together，并应用到image。如下例所示：

NSDictionary *options = [NSDictionary dictionaryWithObject: [[image properties] valueForKey:kCGImagePropertyOrientat ion] forKey:CIDetectorImageOrientati on]];
NSArray *adjustments = [myImage autoAdjustmentFiltersWit hOptions:options];
for (CIFilter *filter in adjustments){
         [filter setValue:myImage forKey:kCIInputImageKey];
         myImage = filter.outputImage;
}

五、查询系统的filters：
1、获得Filters和Attributes的列表：
使用filterNamesInCategory:和filterNameInCategories:方法来发现哪些filters可用。
你可以传递nil参数给filterNameInCategories:来获得所有categories的所有filters。
下面列出了效果类型的category常量；
略kCICategoryDistortionEff ect、GeometryAdjustment、CompositeOperation、。。。
下面列出了使用目标类型的category常量：
略 kCIImageStillImage、Video、Interlaced、NonSquarePixels、HighDynamicRange
下面列出了filter 源的category常量：
kCICategoryBuiltIn: 表示Core Image提供的filter

在你获得了一组filter names之后，你可以检索filter的属性。
CIFilter *filter;
NSDictionary *myFilterAttributes;
myFilter=[CIFilter filterWithName:@"<Filter Name>"];
myFilterAttributes=[myFilter attributes];

2、创建一个Filters options字典：
参数值类型为布尔的，可以用checkbox，有范围的也可以标志出来，使用其默认值为初始值等。
Filter的名字和属性提供了所有的信息来创建一个用户界面，让用户选择一个filter和控制其输入参数。
注意：如果你对创建一个Core Image Filter的用户界面感兴趣，你可以查看IKFilterUIView Class Reference，它提供了一个view，包含了Core Image Filter的参数控制。

六、Subclassing CIFilter：Recipes for Custom Effects
例子1：Chroma Key Filter Recipe：移除源图像中的一个颜色或一组颜色，然后混合源图像和一个背景图片。
例子2：把源图像中的脸保留，其余部位淡化
例子3：保留源图像中的某个位置，其他位置模糊化。
例子4：把源图像中的脸部模糊化，其他部位不变。
例子5：在两幅图像之间变化，中间使用一点点的像素变化
例子6：老电影化（即画面变黑白？）

七、获得最好的性能
八、使用Feedback来处理图像：
CIImageAccumulator类（仅在iOS中有效）是理想地处理feedback-based选择。
九、在你写一个自定义的filter之前，你需要知道些什么？
十、创建自定义FIlters
十一、打包和加载Image Units：