xr-objects：实现增强现实中的智能对象交互-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00853/article/details/146803340

xr-objects：实现增强现实中的智能对象交互

xr-objects XR-Objects is an open-source prototype that anchors contextual interactions onto analog objects to not only convey information but also to initiate digital actions, such as querying LLMs for details or executing tasks. Creating an early form of Augmented Object Intelligence. 项目地址: https://gitcode.com/gh_mirrors/xro/xr-objects

项目介绍

xr-objects 是一种增强对象智能（AOI）的实现，它基于 ACM UIST'24 论文中的描述。该项目提供了一种新的交互范式和设计空间，用于使用自动生成的增强现实（AR）上下文菜单进行以对象为中心的交互。通过这种交互方式，用户可以以一种上下文和空间相关的方式与真实世界的模拟对象（即非电子和无仪器对象）进行进一步的操作，类似于在计算机上对文件进行“右键点击”以访问上下文菜单。

项目技术分析

xr-objects 项目的核心在于利用 Gemini 多模态大型语言模型（LLM）检索关于对象的元数据，即使在没有对象先验知识的情况下也能实现。这促进了多个对象之间的流畅交互，并允许用户执行各种操作，例如查询实时信息、提出问题、添加空间注释或将对象与联系人共享。

项目基于 Unity 开发，利用 ARCore 和 MediaPipe 实现实时对象检测和空间交互。项目的 Android 实现包括自动生成和固定真实世界对象的可操作上下文菜单，而项目模板可用于在 XR 头盔（如 Quest 3 或 Vision Pro）上实现 xr-objects。

项目及应用场景

xr-objects 应用于解决现有技术中与混合现实（XR）中真实世界对象交互相关的问题。传统方法需要预先注册、设备仪器化或对物理世界进行基于标记的增强，这增加了将物理对象和相关的数字内容在 AR 中有意义地融合的任务难度。

xr-objects 通过提供自动生成的 AR 上下文菜单，简化了与模拟对象（非电子和无仪器对象）的交互。这种上下文菜单为用户提供了一个熟悉的界面，用于在场景中识别的对象上执行操作，如获取信息摘要、提问、添加注释或计时器等。

项目特点

自动生成上下文菜单：无需预先注册或标记，系统能够自动生成对象的上下文菜单，提供一系列可执行操作。
Gemini 多模态 LLM：利用 Gemini 模型检索对象元数据，无需对象先验知识，实现流畅的多对象交互。
兼容多种设备：项目支持 Android 设备和 XR 头盔，提供了在不同平台上的灵活应用。
丰富的交互动作：用户可以执行多种动作，如获取信息、提问、添加注释、设置计时器等，开发者还可以添加更多动作。
开放源代码：项目遵循 MIT 许可，允许社区贡献和扩展功能。

以下是一篇关于 xr-objects 项目的推荐文章，符合 SEO 收录规则，并吸引用户使用此开源项目。

探索增强现实新境界：xr-objects 项目引领智能对象交互潮流

在增强现实（AR）技术不断发展的今天，如何实现更加自然和直观的用户交互成为了一个关键课题。xr-objects 项目，一种基于 ACM UIST'24 论文描述的增强对象智能（AOI）实现，为我们提供了一种全新的交互范式。本文将详细介绍这个项目的核心功能、技术分析、应用场景和特点，帮助您理解为什么它是 AR 领域的一大突破。