Project Astra, Mariner 和 Jules

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

Project Astra：AI 助手在现实世界中的多模态理解能力
Google 自 I/O 大会推出 Project Astra 后，这款 AI 助手已经在 Android 手机上进行了可信测试者的试用。通过反馈，团队不仅进一步了解了通用 AI 助手的实际运作方式，还探讨了其在安全性和伦理方面的潜在影响。基于 Gemini 2.0 的最新版本带来了多项升级：

• 更智能的对话
  Astra 现在可以进行多语言和混合语言交流，并且对口音和不常见单词的理解更加精准。
• 新增工具使用功能
  借助 Gemini 2.0，Astra 可调用 Google Search、Lens 和 Maps，成为更高效的日常生活助手。
• 更强记忆功能
  改进后的版本支持最多 10 分钟的会话记忆，还能保留更多过去的对话记录，为用户提供更加个性化的服务，同时保持隐私控制权在用户手中。
• 显著优化的延迟
  新增流媒体技术和原生音频理解，使其实现与人类对话相近的响应速度。

公司计划将这些能力扩展到 Google 产品中，例如 Gemini 应用和其他设备形式，如智能眼镜。目前，一小组测试者将开始试用支持 Astra 的原型眼镜。

---

Project Mariner：AI 助手帮你完成复杂任务
Project Mariner 是基于 Gemini 2.0 的早期研究原型，探索人机交互的未来，其起点是浏览器操作。通过实验性 Chrome 扩展，这个助手可以理解屏幕上的像素、文本、代码、图像和表单等元素，并据此完成任务。

在 WebVoyager 基准测试中，Mariner 在端到端网页任务的表现达到了 83.5%，创下新的技术记录。尽管目前任务完成速度较慢且不够准确，但技术正在快速进步。

为了安全负责地开发这一功能，团队采取了多项保障措施，比如 Mariner 仅能在浏览器的活动标签页内操作，并在执行敏感操作（如购物）前要求用户确认。目前，可信测试者正在通过 Chrome 扩展对其进行测试，公司也与网络生态系统展开了相关讨论。

---

Jules：为开发者打造的 AI 助手
团队还在探索 AI 助手如何为开发者提供支持，通过 Jules，一个集成到 GitHub 工作流中的实验性代码助手实现。这款助手能在开发者的指导下分析问题、制定计划并执行代码，为长期目标打造跨领域的高效 AI 助手迈出了重要一步。更多详细信息已发布在开发者博客中。

---

游戏及其他领域中的 AI 助手
Google DeepMind 一直通过游戏帮助 AI 提高规则遵守、规划和逻辑能力。最近推出的 Genie 2 模型甚至能从单张图片生成可玩的 3D 世界。在此基础上，Gemini 2.0 驱动的 AI 助手已可实时分析屏幕上的游戏动作并给出建议，与用户互动畅聊。

公司与 Supercell 等顶尖游戏开发商合作，测试这些助手在策略游戏《部落冲突》和农场模拟游戏《卡通农场》等不同游戏中的表现。助手还可以调用 Google Search 连接网络上的游戏知识库，进一步扩展功能。

不仅限于虚拟世界，团队还探索利用 Gemini 2.0 的空间推理能力，在物理环境中开发 AI 助手。这项研究虽处于早期，但潜力令人兴奋。