小试 WWDC 推出的 Core ML

Core ML 是 Apple 今年 WWDC 新推出面向开发者的机器学习框架。

Apple 对于 Core ML 的介绍：

Core ML 让你将很多机器学习模型集成到你的 app 中。除了支持层数超过 30 层的深度学习之外，还支持决策树的融合，SVM（支持向量机），线性模型。由于其底层建立在 Metal 和 Accelerate 等技术上，所以可以最大限度的发挥CPU 和 GPU 的优势。你可以在移动设备上运行机器学习模型，数据可以不离开设备直接被分析。

Core ML 让所有的机器学习计算都在 iOS 设备本地进行，这一点依旧体现出苹果对用户隐私很看重。用苹果的一张图来看看 Core ML 的底层框架：

• vision：高性能的图像分析和图像识别。这部分应用于人脸追踪，人脸识别，文本识别，区域识别，二维码识别，物体追踪，图像识别等。

• Nattural Language processing：自然语言处理。用于语言识别，分词，词性还原，词性判定等。

• GamePlayKit：游戏制作，构建游戏。用于常见的游戏行为如随机数生成、人工智能、寻路、和代理行为。

Core ML 的底层是 Accelerate 、BNNS 和 Metal Performance Shaders，框架集成了神经网络，并且内核优化了图形计算和大规模计算，让 app 充分使用 GPU 组件。

接下来我们来体验一下 Core ML，Apple 提供了一些常见的开源模型 (地址：https://developer.apple.com/machine-learning/) 供大家使用，而且这些模型已经使用了 Core ML 模型格式。您可以自行下载这些模型，然后就可以开始在应用中使用它们了。你也可以使用其他第三方机器学习工具来创建和训练模型，将你自己创建的模型使用 Core ML Tools (下载地址：https://pypi.python.org/pypi/coremltools) 转换成 Core ML 就可以了。

这里下载 Apple 提供的 ResNet50 Model，将下载好的 Model 加入到项目工程中，点击可以看到

从上图可以看到 CoreML Model 分成三部分，第一部分算是基本的描述，第二部分 ModelClass 是对应 Model 生成的 Source 点击 Resnet50 末尾的小箭头进入 Resnet50.h 文件可以看到对应 Model 的类和方法如图：

一共生成了三个类分别是 Resnet50，Resnet50Input，Resnet50Output

• Resnet50：根据模型文件生成的模型类

• Resnet50Input：用于你需要识别的参数,对应图 第三部分的 inputs

• Resnet50Output: 用于输出鉴定结果,对应图 第三部分的参数 outputs

Resnet50Input 需要传入的参数是 CVPixelBufferRef ,这里直接使用 Vision 将图片转换成可支持的数据类型。

具体核心识别代码:

Resnet50 *resnetModel = [[Resnet50 alloc] init];
    UIImage *image = self.selectedImageView.image;
    VNCoreMLModel *vnCoreModel = [VNCoreMLModel modelForMLModel:resnetModel.model error:nil];
    
    VNCoreMLRequest *vnCoreMlRequest = [[VNCoreMLRequest alloc] initWithModel:vnCoreModel
                                                            completionHandler:^(VNRequest *request, NSError *error) {
        CGFloat confidence = 0.0f;
        VNClassificationObservation *tempClassification = nil;
        for (VNClassificationObservation *classification in request.results) {
            if (classification.confidence > confidence) {
                confidence = classification.confidence;
                tempClassification = classification;
            }
        }
        
        self.recognitionResultLabel.text = [NSString stringWithFormat:@"识别结果:%@",
                                            tempClassification.identifier];
        self.confidenceResult.text = [NSString stringWithFormat:@"匹配率:%@",
                                      @(tempClassification.confidence)];
    }];
    
    VNImageRequestHandler *vnImageRequestHandler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage 
    options:nil];
    
    NSError *error = nil;
    [vnImageRequestHandler performRequests:@[vnCoreMlRequest] error:&error];
    
    if (error) {
        NSLog(@"%@",error.localizedDescription);
    }

这里使用 Vision 库中 VNCoreMLModel，VNCoreMLRequest，VNImageRequestHandler
关键开始识别方法[vnImageRequestHandler performRequests:@[vnCoreMlRequest] error:&error];识别完成会回调 vnCoreMlRequest 的 completionHandler ，其返回的结果是一个 VNClassificationObservation 数组，每一个 VNClassificationObservation 都是一个识别的结果，我们要从里面选出匹配率最高的一个结果出来。具体的 Vision 库使用可以看看官方文档 https://developer.apple.com/documentation/vision

VNClassificationObservation 对象有两个参数：

1. confidence 可信度，值越高应该是越接近的

2. identifier 鉴定结果标识，模型训练时所给出的结果值

最后来看看Core ML的识别如何：

附上Demo地址：https://github.com/spykerking/TestCoreML.git