Core ML简史

最新推荐文章于 2024-03-04 17:36:08 发布
最新推荐文章于 2024-03-04 17:36:08 发布
阅读量1.7k 收藏 1
点赞数 1
分类专栏： coreml 文章标签： coreml tensorflow 历史 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaussrieman123/article/details/111987176
版权

背景

深度学习是最新一波技术发展的最大增长点，随着研究的深入和算力的发展，深度学习也逐渐从论文走到了实际应用。由于现在我们仍然处于移动互联网的成熟期，手机仍然是今年最通用的计算平台，所以深度学习不可避免的也要跑在手机上，这是技术+时代的共同需求。

为了应对这个需求，科技行业的巨头们都提出了自己的解决办法，2017年3月，Google就在TensorFlow的基础上开源了TensorFlow Lite，目标就是完成移动端深度学习计算。Google做这个事情是非常好理解的，因为TensorFlow太重了，不太可能直接在移动端上运行，为了满足移动端深度学习需求，必须提出一个新的框架，这就是TF Lite。

在这个背景下，Apple也在2017年的WWDC向大家介绍了Core ML:
在这里插入图片描述
有兴趣的可以去看一下WWDC2017 Core ML部分。

由于水平有限，很多内容可能与现实有出路，有错误请轻喷。。。

Core ML

注意这里是没有1.0这个版本号的。

如果用最简单的方法来介绍Core ML，下图就可以说明：
在这里插入图片描述
通过一个Core ML将一个Core ML 模型集成到iOS 或 MacAPP中，给APP提供该模型具备的预测能力。由于17年深度学习最爆炸性的结果就是CV中的分类任务，所以Core ML也对图像分类做了非常细致的设计和开发，另一个重点是自然语言处理(NLP)，由于我本人对NLP知之甚少，所以就一笔带过。

详细点来说，我们可以看下面这个框架图，最底层是计算用的一些性能库，多说一句，这些库并不是和Core ML耦合在一起的，意思就是，我们在其他的场合也可以直接调用这些库来完成计算，比如图像处理等操作。
在这里插入图片描述
基于这些底层的计算库，在上面实现了Core ML，用来完成深度学习或者机器学习模型的前向推理。

这里马上就有一个第一个问题，模型从哪来？

在Core ML时代，模型大部分是从其他训练框架保存并转换而来，比如TensorFlow和Pytorch(需要先转成onnx)，但是也支持训练模型，对于简单的任务，是可以通过Core ML直接训练得到mlmodel。

有了模型之后，就可以使用Core ML加载并进行前向计算，大致的过程可以参考为什么TensorFlow要使用图结构？，这个设计过程并不复杂，重点一是如何进行计算加速，二是如何转换？这里Apple应该是充分利用了Metal，在GPU上进行计算，所以性能较高。针对模型转换，Apple开源了一个转换工具coremltools，如果是从TensorFlow转的话，还有一个更为熟知的转换工具tfcoreml。

作为以产品出名的大公司，Core ML如果只做到推理部分，那和其他科技公司有什么区别呢(-_-!)？所以当然是不止于此，Apple生态闭环的优势决定了它可以做很多有效的设计，不管是耦合还是解耦合，都可以根据实际需求做出最优设计。在CV和NLP火热的时代背景下，Apple在Core ML这一层上面设计了两个应用开发框架Vision.framework和NatrualLanguage.framework，具体的需求提出具体的办法，这样做的好处是开发容易，几行代码就可以完成CV模型的部署，所以说很优秀。

这两个framework都可以在系统路径中找到：

/Applications/Xcode.app/Contents/Developer/Platforms/iPhoneOS.platform/Developer/SDKs/iPhoneOS.sdk/System/Library/Frameworks

在这里插入图片描述
在这里插入图片描述
除此之外，Apple开发布了一些Demo，供开发者学习，这里也不再赘述。

补充一个非常有意思的点，Apple在发布Core ML时，着重强调了On-device，就是端上运行，然后从四个方面来说明端上运行的重要性：
在这里插入图片描述

  1. 用户隐私
  2. 数据传输消耗
  3. 服务端的消耗
  4. 7天24小时随时在线

以及一个最重要的概念：
5. Realtime！

基于以上这些点，Apple认为移动端本地推理是深度学习的主流，所以Core ML也就做了这件事情。

总体来说，Core ML是顺应技术和时代背景需求的产物，Apple在移动互联网+AI的时代下提出的用来在Apple APP上部署机器学习算法的框架，利用转换工具，将训练好的模型转换成Core ML Model，并用已经开发好的加速库完成推理计算，在此基础上，对常用的两类应用场景做了抽象设计，发布了Vision和NLP的framework，供开发者使用。

Core ML 2

2018年，Apple有一个重要的调整，将Core ML的开发团队和Siri的团队合并，组建了一个新的AI/ML团队，由John Giannandrea(下图)负责。
在这里插入图片描述
这老哥在来之前已经是Google重臣，而且经历也颇为传奇，所以Apple这是要花重金来做AI和ML了。

在2018年的WWDC，Apple发布了Core ML 2，主题就是 What’s New in Core ML：
在这里插入图片描述
在上一节我们有说过Core ML面临两个问题，一是模型的来源，二是算力。其实这两个问题也几乎是所有移动端推断框架所面临的共性问题。

Core ML 2主要目的就是开始尝试解决这两个问题。主要有以下三点：

  • 模型量化
  • 性能提升
  • 自定义Layer

其中前面两点都是为了计算或者存储效率，第三点是尝试解决模型来源，简单来说就是提供自定义layer，增加框架的适应性。

模型量化

众所周知TFLite设计的一个核心就是模型量化，再联系到Core ML新掌门人的Google背景，我都怀疑是不是把TF Lite的思路直接搬过去了，关键是这东西在TF Lite上面已经证明目前不存在通用解法，在Core ML上面又能有多大的实际用途呢？

具体的思路几乎都可以想象，Core ML都是用32位精度来进行计算，输出甚至是64位精度浮点数数组。在Core ML2，提供了16bit 、8bit、4bit甚至是1bit的量化，模型的Size确实是显著降下来了，但是精度也必然会打折扣。具体情况，可能要结合模型来具体分析了。

性能优化

除了常规的代码层面的提升，有一个更侧重框架上的改进，就是批量输入。一次输入一个batch的好处是一次计算即可完成多个输入的计算。这个原本是训练过程必备的功能，现在也逐渐延伸移动端推理。

batch推理看似很好，但是需要注意的是，batch推理的时间是比单张图的推理时间要长的。从计算时间上来说：单张图输入 < batch输入的时间 < 多张图逐个输入。这个系数是多少，每个模型都不一样，要具体测试了。而且，有多少场景是需要在移动端进行batch输入呢？

自定义Layer

自定义Layer明面上的好处是，如果某个模型在转换时失败，或者某个layer你觉得Core ML实现的不好，可以用自定义Layer来实现或者替代。如果是放到现在来看，这个功能相当鸡肋，但是在当时还是有一定的意义，因为算法模型确实是百花齐放，各种Layer也是层出不穷，自定义是有必要的。

Core ML 3

WWDC 2019发布的Core ML，应该是第三个版本了。框架上该版本并没有实质性的变化，但是这一版对Core ML来说缺很重要，因为补全了几乎所有的学习类模型的部署所需条件。

除了之前已经支持很好的CV和NLP之外，现在还增加了一个Speech.framework以及SoundAnalysis.framework。以及大量的模型类别以及Layers。

到此Core ML基本上解决了移动端部署的问题。

Core ML 2020

时间很快来到了2020，曾经大火的深度学习移动端部署，到现在已经是昨日黄昏，并不是说昨日黄昏就不美了，而是…看腻了。

前面已经说过，移动端部署到目前已经基本上算是一个有解的问题，所以Core ML也将重心放在了提高效率和改进流程上面。

Core ML在2020提出了CloudKit.framework。不过很遗憾，Core ML暂时并不打算直接将模型部署到云端，而是通过Cloudkit，提供模型更新，即如果仅仅需要更新模型，不需要重新发布APP，只需要将新模型上传到Apple Cloud，然后APP会下载最新的云端模型资源，就完成了模型的更新。这个过程中可能会涉及到安全问题，因此Core ML也提供了model encryption用于完成模型加密，保障安全！

另外，移动端确实是腻了，因为这些年出现了很多移动端推理框架，不管是模型表示、内存管理、计算优化以及配套工具，都已经慢慢趋于一致。移动端深度学习现在虽然谈不上成熟，但是移动端推理框架已经比较成熟了，大厂也都借鉴开源框架设计并实现了自己的移动端推理，小厂也都找到了自己最合适的开源框架。

2020的关键词是云！

在Core ML刚开始出现的2017年，深度学习云服务正处在野蛮生长的阶段，安全性和稳定性都得不到保障，最关键的是，没有特别的需求需要使用云服务来提供算法能力，以及云端算法能力如何和本地融合，这些东西都还没有考虑清楚。

在2020年，云服务几乎是每个大厂都在考虑做的事情，一是算力，云端能将机器算力充分压榨，通过虚拟化技术，可以提供弹性可配置的算力，这个算力是移动端无法比拟的；二是5G的前景，5G的低延时让云服务在未来具有无限的可能，再加上边缘计算，似乎真的可以完全搞定算力问题，所以提前布局是非常有必要的；三是现在深度学习算法很难作为单一算法出现，即单纯依赖深度学习算法无法解决一个系统问题，因此深度学习算法往往是和其他算法打包到一起来解决复杂问题，更常见的情况，是多个将深度学习算法包装成底层能力，随时需要随时调用，在这种场景下，没有比云服务更好的选择了。

不知道Core ML是否也会出一个Core ML Serving 呢？

参考

https://www.appcoda.com/coreml2/
https://golden.com/wiki/Core_ML
https://www.appcoda.com/coreml-introduction/
https://machinethink.net/blog/new-in-coreml3/
https://machinethink.net/blog/new-in-apple-machine-learning-2020/
https://techcrunch.com/2018/07/10/apple-combines-machine-learning-and-siri-teams-under-giannandrea/

gaussrieman123
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Core ML 简介：构建简单的图像识别应用程序
xubaimiao的专栏
06-25 141
Core ML 的另一个额外功能是，只要将其转换为 Core ML 模型，您就可以使用预先训练的数据模型。作为应用程序开发人员，我们主要关心的是如何将这个模型应用到我们的应用程序中来做一些非常有趣的事情。幸运的是，借助 Core ML，Apple 可以轻松将不同的机器学习模型集成到我们的应用程序中。您可以构建自己的模型，但在本演示中，我们将使用 Apple 开发者网站上提供的预先训练的模型。您需要知道的是，我们将拍摄的图像转换为数据模型可以接受的内容。这不是代码的问题，而是训练模型的问题。
机器学习笔记 在自定义数据集上训练 YOLOv8 目标检测器
学以致用 知行合一
05-05 964
YOLOv8是Ultralytics开发的YOLO对象检测，分类和分割模型的最新版本。在编写本教程时，YOLOv8 是最先进的尖端模型。与以前的版本在前身 YOLO 模型的基础上构建和改进一样，YOLOv8 也建立在以前的 YOLO 版本的成功基础上。YOLOv8 中的新功能和改进提高了性能和准确性，使其成为最实用的对象检测模型。YOLOv8的一个关键特性是它的可扩展性。它被设计为一个框架，支持所有以前版本的 YOLO，可以轻松地在版本之间切换并对其性能进行基准测试。
CoreML模型分析
gaussrieman123的博客
12-23 1598
准备工作 首先得有一个Xcode以及一个简单的添加了CoreMLFramework的工程； 下载模型，如官方推荐的MobileNetV2 将模型导入到工程中，并添加到你的编译项目中 双击打开，会看到这么一个页面： 然后点击 就可以进入到模型自动生成的头文件中： 模型分析 1.关键词@interface 通过搜索关键词interface，我们可以得到三个结果： @interface MobileNetV2Input : NSObject @interface MobileNetV2Output :
Core ML 机器学习
dfgwang1202的博客
06-09 163
在WWDC 2017开发者大会上，苹果宣布了一系列新的面向开发者的机器学习 API，包括面部识别的视觉 API、自然语言处理 API，这些 API 集成了苹果所谓的 Core ML 框架。Core ML 的核心是加速在 iPhone、iPad、Apple Watch 上的人工智能任务，支持深度神经网络、循环神经网络、卷积神经网络、支持向量机、树集成、线性模型等。 概览 借助 Core...
Core ML 文档翻译
努力，可能成功！放弃，注定失败！
06-07 5199
本文来自简书，原文地址:http://www.jianshu.com/p/6c2dff59eaaf 将机器学习模型集成到您的应用当中。 概览 借助 Core ML，您可以将已训练好的机器学习模型，集成到自己的应用当中。 所谓已训练模型 (trained model)，指的是对一组训练数据应用了某个机器学习算法后，所生成的一组结果。举个例子，通过某个地区的
[短记] CoreML
编码时光
10-19 667
Apple Machine Learning 关于 Core ML 关于 Create ML 关于 coremltools 将 PyTorch 模型转为 Core ML 格式
深入浅出 Core ML
H.A.N的博客
11-26 1275
Machine Learning 基本介绍 机器学习是一门人工智能的科学。它通过对经验、数据进行分析，来改进现有的计算机算法，优化现有的程序性能。其基本流程如下图： 如图，机器学习有三个要素： 数据（Data） 学习算法（Learning Algorith） 模型（Model） 以图片分析 App 为例，这个场景下的数据、学习算法和模型分别对应： 数据：各种花的图片。这些数据称为此次机器学...
Spark概述
最新发布
2301_80087224的博客
03-04 943
结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。5.MapReduce和Spark的区别（1）Spark的速度比MapReduce快，Spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，比较影响性能；（2）spark容错性高，它通过弹性分布式数据集RDD来实现高效容错；
spark简介（一）
cold_wolfie的专栏
08-25 1766
spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景，包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起。 本文主要内容有：spark特性、spark生态栈、spark用户及用途、spark简史
初步了解Spark
m0_67806453的博客
06-15 562
目录一，大数据开发总体架构二，Spark简介三，Spark发展史四，Spark特点（一）快速（二）易用（三）通用（四）随处运行（五）代码简洁1，采用MR实现词频统计2，采用Spark实现词频统计五，Spark主要组件（一）Spark Core（二）Spark SQL（三）Spark Streaming（四）MLlib（五）GraphX六，Spark应用场景（一）腾讯 （二）Yahoo（三）淘宝（四）优酷土豆“Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines
Spark基础知识梳理
Sheenky的博客
08-13 1678
spark解决的问题：海量数据的计算，可以进行离线批处理以及实时流计算spark模块：sparkcore、SQL、流计算（SparkStreaming）、图计算（Graphx）、机器学习（MLib）spark特点：速度快、使用简单、通用性强、多模式运行spark运行模式本地模式集群模式云模式spark的运行角色MASTER：集群资源管理者（类同ResourceManager)worker：单机资源管理者（类同NodeManager)......
CoreML_Vision_Sampler:CoreML视觉采样器
05-09
CoreML_Vision_Sampler CoreML视觉采样器
coremltools：Core ML工具包含用于Core ML模型转换，编辑和验证的支持工具
02-03
Core ML是一个Apple框架，用于将机器学习模型集成到您的应用程序中。 Core ML为所有模型提供统一的表示形式。 您的应用程序使用Core ML API和用户数据在用户设备上进行预测并微调模型。 Core ML通过利用CPU，GPU和神经引擎来优化设备上的性能，同时最大程度地减少其内存占用空间和功耗。 严格在用户设备上运行模型将消除对网络连接的任何需求，这有助于保持用户数据的私密性和您的应用程序的响应速度。 包含用于，编辑和验证的所有支持工具。 这包括TensorFlow，PyTorch，Keras，Caffe等深度学习框架，以及LIBSVM，scikit-learn和XGBoost等经典机器学习框架。 使用coremltools，您可以执行以下操作： 从TensorFlow和PyTorch等框架为Core ML格式。 读取，写入和优化Core ML模型。 通过使用Core ML进行预测来验证转换/创建（在macOS上）。 要获取最新版本的coremltools： pip install --upgrade coremltools 有关最新更改，请参见。 文献
Core ML概览
mandagod的博客
03-01 514
Overview UseCore MLto integrate machine learning models into your app.Core MLprovides a unified representation for all models. Your app usesCore MLAPIs and user data to make predictions, and to...
Core ML学习
BianHuanShiZhe的专栏
08-19 644
Core ML，这是 个全新的机器学习基础框架，它 于全系 Apple 产品当中，其中包括 Siri、Camera 以及 QuickTime。Core ML 提供 惊 的 速性能，能够轻松地集成机器学习模型，从 让您仅通过 代码就构建出更具智能的应用 Core ML 允许您将各种机器学习模型集成到 的应 当中。除 持超过 30 层类型的深度学习之外
Core ML API
mandagod的博客
12-30 399
直接使用 Core ML API，从⽽支持⾃定义工作流以及更为高级的用例。 在绝大多数情况下，您只需要与模型动态生成的接口进⾏交互即可，也就是说当您将模型添加到 Xcode 项目当中的时候，这个接口就由Xcode自动创建完毕了。您可以直接使用 Core ML API，以便支持自定义工作流或者更为高级的⽤例。举个例子，如果您需要将输入数据异步收集到⾃定义结构体，从⽽来执行预测的话，那么您就可以让这个...
Apple - Core ML
Sweety
06-07 367
官方文档：https://developer.apple.com/documentation/coreml Core ML 将机器学习模型集成到应用程序中。 Overview 使用 Core ML，您可以将经过训练的机器学习模型集成到应用程序中。 一个训练模型(trained model)是将机器学习算法应用于一组训练数据的结果。该模型基于新的输入数据进行预测。例如，一个被训练在一个...
获取 Core ML 模型
mandagod的博客
03-01 839
Getting a Core ML Model Obtain a Core ML model to use in your app. Overview Core ML supports a variety of machine learning models, including neural networks, tree ensembles, support vector machines...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值