苹果自动为所有人开启AI分析照片识别地标功能

2024 年，苹果在客户的 iOS 和 macOS 设备的照片应用程序中部署了用于识别图像中地标和感兴趣地点的机制——增强视觉搜索功能，并默认开启，众多苹果用户近期才开始留意到这一情况。软件开发者 Jeff Johnson 于上周发文，表达了对苹果未充分解释该技术的担忧，该功能据信随 2024 年 10 月 28 日发布的 iOS 18.1 和 macOS 15.1 一同推出。

功能及技术原理阐述

• 功能描述：增强视觉搜索允许用户使用地标或兴趣点搜索照片。设备会将照片中的地点与苹果服务器上维护的全球索引进行匹配。

• 技术流程：

  • 本地的机器学习模型对照片进行分析，寻找可能描绘地标的“感兴趣区域”。若 AI 模型找到可能的匹配项，会计算一个代表该图像部分的向量嵌入（一组数字数组）。

  • 设备采用同态加密技术对嵌入进行加密处理，使其能在精心设计的算法中运行并产生同样加密的输出。目的是加密数据可发送到远程系统分析，而系统操作者无法知晓数据内容，仅能对其执行计算，计算结果仍保持加密状态，整个过程中输入和输出都是端到端加密，数学运算期间不进行解密。

  • 为满足大规模生产服务的延迟和成本要求（可能以标签准确性为代价），会调整嵌入的维度和精度，以尽量减少苹果在该免费功能上的云计算成本和移动设备资源使用。

  • 在一些服务器优化元数据和苹果的私有最近邻搜索（PNNS）帮助下，相关的苹果服务器分片从设备接收同态加密的嵌入数据，对该数据执行上述加密计算，从数据库中找到地标匹配项，并将结果返回给客户端设备，且不会向苹果及其 OHTTP 合作伙伴 Cloudflare 提供识别信息 。

隐私保护措施说明

苹果在政策文件中称，该功能应用了同态加密和差分隐私技术，并使用 OHTTP 中继隐藏用户的 IP 地址，以此防止苹果获取照片中的信息。用户可随时在 iOS 或 iPadOS 设备的“设置>应用程序>照片”路径下，或在 Mac 上打开“照片”应用并进入“设置>通用”路径关闭该功能。

各方态度反馈

• 软件开发者 Michael Tsai：认为苹果虽理论上以保护隐私的方式实施该功能，但实际未达到理想标准。功能不是用户主动选择开启，且可能在用户使用搜索功能前就上传照片元数据，甚至在用户已选择不将照片上传到 iCloud 的情况下也会发生。该做法比苹果废弃的 CSAM 扫描计划更不注重隐私，不过他也承认苹果声称以这种方式处理的数据是加密的，且与用户账户和 IP 地址无关。

• 约翰霍普金斯大学副教授 Matthew Green：对新年前两天才知晓该服务且手机上已默认启用感到十分沮丧。

• Jeff Johnson：他反对的并非该功能的技术细节（因大多数用户难以评估），而是苹果默认开启在线服务，剥夺了用户的选择权。他还指出，目前不清楚照片库的数据或元数据是否会在用户有机会禁用退出设置之前就已上传，而苹果尚未对此作出说明 。