微软Copilot+ PC：Phi-Silica

大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba，xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的AI架构则可以关注AI架构设计专栏。技术宅麻烦死磕LLM背后的基础模型。

Phi-3-Silica

昨日微软宣布推出一种新的、更微型的小语言模型 (SLM) Phi-3-Silica，专为Copilot+ PC设计。Copilot+ PC本身配备强大神经处理单元 (NPU) 的个人计算机，能够应付AI计算。基于Windows的Phi-3-Silica仅仅拥有3B参数，是Phi-3系列中最小的。

Phi-3的特点显著：

• 快速高效：以每秒 650 个令牌的速度处理信息，低功耗（1.5 瓦）。

• 利用 NPU：Phi-3-Silica利用NPU执行特定任务，从而释放PC的其他计算资源。

• 支持本地部署：Phi-3-Silica直接在Copilot+ PC上运行，无需依赖互联网连接，从而可能提高隐私性和响应能力。

• 生态开放：三方开发人员可以利用 Phi-3-Silica为Windows生态系统创建新颖且用户友好的应用程序。

• 增强体验：Phi-3-Silica和Copilot+ PC的动态组合有望彻底改变用户工作习惯与提升效率。

值得一提的是微软提供了有关Windows Copilot运行时的具体工作原理。该运行时包括一个 API 库，开发人员可以利用这些 API 来开发应用程序，并提供 AI 框架和工具链，供开发人员在 Windows 上发布自己的模型。

“Windows Copilot 库由随时可用的 AI API 组成，例如 Studio Effects、实时字幕翻译、OCR、Recall with User Activity 和 Phi Silica，这些 API 将于 6 月向开发人员提供，”Windows 和 Surface 主管 Pavan Davuluri 解释道。

开发人员将能够使用Windows Copilot库将Studio Effects、滤镜、肖像模糊和其他功能集成到他们的应用程序中。Meta正在将Windows Studio效果添加到WhatsApp中，这样您就可以在视频通话期间获得背景模糊和目光接触等功能。即使是实时字幕和新的人工智能翻译功能也可以被开发人员使用，几乎不需要任何代码。

微软昨天展示了其Recall AI 功能，允许 Copilot Plus PC记录和存储用户在 PC 上所做的一切，以便您可以回忆记忆并通过时间线进行搜索。这一切都由一个新的 Windows 语义索引提供支持，该索引于本地存储。

Davuluri 表示：“我们将为使用 Vector Embeddings API 的开发人员提供此功能，以便他们在自己的应用程序中以及应用程序数据中构建自己的矢量存储和 RAG。”

功能场景

Phi-Silica轻量且能够高效在设备上运行，基于其的应用可以提高PC的生产力、改善用户体验和隐私保护。

• 功能有限的离线语音助手：在本地执行基本语音命令或回答简单问题，无需将数据发送到云端。

• 设备上的情绪分析：在本地分析电子邮件或文档的语气，以在不损害隐私的情况下获得见解。

• 安全语音搜索：使用完全在设备上处理的语音命令在本地文件或数据库中进行搜索。

• 为视障用户提供文本到语音转换：Phi-Silica 可以大声朗读网页或文档上的文本，从而增强视障用户的可访问性。

• 音频和视频实时字幕：无需访问互联网即可生成媒体文件字幕，从而提高聋哑或听力障碍用户的可访问性。

• 个性化的语言学习工具：Phi-Silica 可以在学习应用程序中提供词汇建议或实时翻译等功能，为设备上的语言学习提供帮助。

• 实时语言翻译：无需互联网连接即可即时翻译文档、标题或对话。

• 离线理解：即使在没有网络的情况下也能保证正确书写或在本地总结长文档或文章，让用户快速掌握要点。

• 智能听写和语音识别：Phi-Silica 可以为听写软件提供支持，该软件可以理解上下文并在本地纠正错误，从而提高准确性和速度。

后话

Phi Silica从Phi-3-mini（3.8B ）、Phi-3-small（7B ）、Phi-3-medium（14B ）以及最近推出的宣布Phi-3-vision（4.2B）中脱颖而出，成为首个登录Windows最先进SLM，标志着将 AI 功能直接带给最终用户。

Phi Silica的推出紧随微软 Copilot+ PC发布之后，该发布承诺提供配备专用 AI 处理器的 Windows PC。首批 Copilot+ PC 将于 6 月中旬上市，将采用高通基于 Arm 的Snapdragon X Elite和Plus芯片。微软和主要 PC 制造商预计将在整个夏季推出这些支持 AI 的笔记本电脑。英特尔也在开发自身的Copilot+ PC 理器，代号为Lunar Lake，计划于 2024 年第三季度发布。