【类别】工具端
【定位】智能增强现实AI助理
【核心玩法】引领未来交互体验,这款智能增强现实AI助理不仅是苹果眼镜的潜在Killer APP,更实现了AI与AR的深度融合。南洋理工团队最新发布的多模态大模型,堪称图片/视频版的ChatGPT,结合苹果眼镜,让你拥有如同钢铁侠电影中的贾维斯般的智能助手。它能够实时解读周围环境,为你提供丰富的信息与指导。比如,在打麻将时,它能即时分析局面,告诉你最佳的出牌策略;当你对现实世界的某个事物感到困惑时,只需询问,它便会为你答疑解惑。该数据集集成了280万多个多模式指令和220万个来自图像和视频的独特指令,支持中文、英文、法文等多语言。目前,作者展示的交互主要基于眼镜显示器的二维UI对话框,但未来可望加入数字人外观,使其成为真正意义上的个性化智能助手。此前,已有开发者基于GPT4和AR眼镜Nreal展示了类似应用,实时解读与交互世界,为我们提供了无限遐想。
【交互】语音交互 + 二维UI对话框 + 拟真数字人形象 + 苹果眼镜手势交互
【可拓展性】
(1)交互方式升级:融入数字人外观,提供个性化选择,实现千人千面的智能助手体验。
(2)整合苹果眼镜手势交互:进一步丰富交互方式,使操作更加便捷高效。
(3&#