苹果公司最近推出了其人工智能技术Apple Intelligence,并在iOS 18.1 Beta版中首次亮相,这标志着苹果正式迈入了AI时代。Apple Intelligence深度集成于iOS、iPadOS和macOS系统中,提供了包括写作润笔、通话摘要、内容总结、图像生成等一系列AI功能,这些功能可以为iPhone、Mac等设备提供更智能的体验。Siri也得到了全面升级,变身为Apple Intelligence & Siri,提供了文本对话方式,能够更自然地理解用户意图并进行多轮对话,同时支持从查询到查询的上下文理解。
据官方介绍,Apple Intelligence 深度集成于iOS 18、iPadOS 18和macOS Sequoia中,“充分运用Apple 芯片对语言和图像的理解与创作能力,可做出多种跨App操作,同时结合个人场景,为用户简化和加快日常任务流程。”
具体来说,Apple Intelligence支持写作润笔、通话摘要、内容总结、图像生成,智能查找照片和视频,智能创作影片以及AI指令跨应用运行等,能为iPhone、Mac等设备提供一系列AI功能。不过,由于对芯片算力的要求,Apple Intelligence将仅支持iPhone 15 Pro、iPhone 15 Pro Max以及搭载M1或后续芯片的iPad和 Mac设备,需将设备语言设置为英语(美国)。
苹果AI版iOS为开发者带来了许多有用的功能,以下是一些对开发者特别有帮助的功能:
-
通话录音功能:用户可以在Notes或Phone应用中点击“录音”,捕获录音和文字记录,Apple Intelligence会生成录音信息摘要,帮助开发者快速了解最重要的信息。
-
增强的Siri:新版Siri拥有全新的外观和功能,能够在文本和语音之间任意切换,并且能够保持上下文的连贯性,更好地理解指令。
-
写作工具:这项工具可以帮助开发者校对文本的拼写和语法错误,重写当前内容而不改变原意,并提供多种写作风格选项,如友好、专业和简洁等。
-
邮件和消息的智能回复:邮件应用中添加了摘要功能,会首先显示时间敏感的消息,而消息应用支持智能回复选项,分析消息内容并提供回复内容建议。
-
照片应用的自然语言搜索:用户可以使用自然语言创建幻灯片,并通过输入描述来自动选择相关照片和视频。
-
Core ML和Create ML:这些工具让开发者可以轻松地在App中构建、训练和部署机器学习及人工智能模型,无需编写任何代码即可快速构建和训练Core ML模型。
-
由机器学习支持的API:开发者可以利用这些API在App中整合智能的设备端机器学习功能,包括对象检测、语言分析以及声音分类等。
部分任务超越 GPT-4
应用了一系列优化技术之后,也到了验收模型表现的时候了。在这过程中,苹果采用了人类评估与自动化评估相结合的策略。
先说人工评估,评估人员设计了涵盖分析推理、头脑风暴、聊天机器人等方面的多类问题,并让模型生成相应。同时,问题也会被提给用于对比的其他模型,然后由评估人员评判哪个模型的输出更好。
结果,无论是云侧还是端侧模型,都有至少 60% 的概率不输给 Llama 3、GPT-4 等对比模型。
其余的测试主要利用数据集实现。
在指令遵循能力上,苹果进行了 IFEval 测试,结果在指令和 prompt 两个层次上,云侧 AFM 都超过了 GPT-4,成为了新的 SOTA。
端侧模型的表现,也超过了 Llama 3-8B、Mistral-7B 等近似规模的模型。在 AlpacaEval 当中,端侧和云侧 AFM 也都取得了第二名的成绩。
再看具体任务上的表现,AFM 在写作类 Benchmark 当中的总结任务上取得了 SOTA,撰写任务上也与第一名接近。
数学上,苹果用 GSM8K 和 MATH 两个数据集进行了评估。
结果端侧模型在 GSM8K 上不敌 Llama 3-8B 和微软的 Phi 3 mini,云侧被 GPT-4 和 Llama 3-70B 超越,但优于 GPT-3.5。
MATH 上的成绩相对高些,端侧版领先了同规模模型,云侧版也超越了 Llama 3-70B。
性能之外,安全性也十分重要,苹果通过人工方式对 AFM 抵御对抗性攻击的能力进行了评估。结果显示,AFM 在面对对抗性提示时,实现的违反率显著低于其他开源和商业模型。
以上就是苹果大模型技术报告中一些值得关注的内容,更多详情可参阅报告原文。
One More Thing
虽然 Apple Intelligence 已经提供给开发者进行测试,但彭博社爆料说,正式版可能会延迟上线。
的确,按照苹果此前的版本发布规律,18.1 的版本号也意味着,这些功能不会随着 9 月的新机发布一同上线。
对此分析师 Gene Munster 建议,苹果应该考虑推迟 iPhone 16 的发布日期,以与 Apple Intelligence 保持一致。
至于库克会不会考虑这个建议,就拭目以待了。
算力平台
BuluAI是一个创新型的算力云平台,算力使用灵活,可为开发者提供强大计算资源和全面支持。帮助BuluAI的使用者能够更专注于技术、应用的研究和优化。产品预计9月份正式公测上线,敬请期待!
现可报名免费领取算力,报名入口:BuluAI