来源：新智元
Meta首款AR眼镜，终于亮相了！
酝酿十年，烧钱数十亿，作为小扎元宇宙宏图大业的一部分，我们今日终于得见Meta AR眼镜的真容。
这款名为Orion的产品，由带MicroLED 投影的眼镜、人机交互的腕带、提供计算能力的小盒子组成。
轻快的外观，领先行业的AR体验，Meta再为业内做出开创性的壮举。虚拟现实世界的入口，元宇宙的雏形，或许就是这般样子。
有趣的是，因为制作成本高达10000美元，这款眼镜本次仅做展示之用，是产品原型，并不会正式发售。
英伟达老黄已经试戴上了
每个计算平台，都会带来我们与设备交互方式的范式转变。上一次是鼠标、智能手机，这一次，会是AR眼镜吗？
此外，在Meta Connect 2024发布会上，其他重要产品也悉数亮相——
Meta Quest 3S头显眼镜发布；Meta Ray-Ban眼镜上线新功能；Meta首个拥有多模态能力的开源大模型Llama 3.2亮相。
AR眼镜：元宇宙入口的新范式？
地表最强AR眼镜，终于诞生了！
在昨晚的发布会上，小扎激动地向全世界展示了这款地表最强AR眼镜。
研发过程，经历了整整十年。目标很简单，但技术挑战却极其艰巨。
目标有多简单，无非是要满足是眼镜而非头戴设备、无线、重量不超过100g、宽广视野、全息显示、清晰度够高、能捕捉到细节、亮度足、在不同光线下都能看清、显示面积够大、足以呈现电影银幕或多个工作用显示器、能透过它看到外界这些要求罢了。
研发工程师们呕心沥血了整整十年，终于做出了Orion。
注意，这不是透视效果，这是物理世界上面叠加了全息图
如果收到消息，你不必掏出手机，只要在全息图中做出几个手势，就可以回复了。
远方的人，可以以全息图的形式瞬间传送到你身边。
敲敲手指，你就可以玩纸牌、象棋、全息乒乓球了。
小扎表示，Orion会给未来的元宇宙世界提供更多入口。
可以说，它包含着AI空间计算终极形态的野心。
比起苹果过于笨重的Vision Pro，Orion的确有了未来空间计算AI设备的雏形。
此次发布的Orion，具有宽视野显示器，内置无线AI，是Meta十年来一直致力实现的事。
显示器
在Orion中，Meta选择了微型LED显示器。
可以说，这款AR眼镜的最大挑战，就是显示器。
由于需要以不符合原理的方式弯曲光束，团队需要建造一个全新的显示架构。
它可以让眼镜框架中的微型投影仪将光线射入波导，将纳米级3D结构打印到透镜中，使光线发生折射，从而在我们的环境中显示不同深度和尺寸的全息图。
为此，团队没有使用玻璃光学器件，而是使用了碳化硅的新材料。
后者很轻，不会产生奇怪的光学伪影或C stray散光，且具有非常高的折射率，这，就是实现大视野和有效利用光子的关键。
散热
另一个挑战就是散热。我们不可能把风扇塞进一副眼镜里，怎么办呢？
唯一消除热量的方式，就是将其辐射出去。
团队做了两件事。首先，框架由散热材料镁制成。其次，Orion中的许多定制组件也是用镁材料设计。
而且团队构建了数十个定制硅芯片，不仅节能，还能针对AI机器感知和图形算法进行优化。
这样，Orion就可以采用手眼跟踪以及slam算法，大大降低了算法所需的功耗。
外形
Orion的尺寸为一英尺，具有光学对准功能，精度达到了人类头发丝厚度的1/10。
它有七个微型摄像头和传感器，尺寸很小，因而可以嵌入镜框边缘。
Meta表示，在目前最小的眼镜外形中，他们实现了可用的最大视野。
这使得数字内容能与我们所看到的世界融为一体。
全新互动模式：肌电图腕带
传统的AR眼镜，是用语音控制和手眼跟踪来导航用户界面。
但Meta认为，我们还需要一种更谨慎、私密的全新方式，跟AR眼镜进行交流。
这就是全新上线的肌电图腕带和眼球注视功能。
腕带会检测你的神经运动信号，这样你就可以用手势进行点击。
只需看着目标，就可以进行选定。
总之，Orion的输入和交互系统，将语音、眼镜注视、手部追踪和EMG腕带无缝结合，让我们可以更轻松、更快、更舒适地操作。
AR眼镜能否成为主流？Meta表示，只要解决了这两个问题，就能实现。
第一，能否实现根本性的技术突破，比如将大显示屏融入一副普通眼镜中？
第二，什么用例是你只能在AR眼镜上操作，不能在其他设备上完成的？
而Orion原型，就是Meta对这两个问题的回答。这个原型是对未来的一瞥，现实已触手可及。
虽然作为消费产品，它的价格仍然昂贵得吓人，但毫无疑问，它可能是未来最先进的消费电子产品，是自智能手机以来最有影响力的新设备。
在下一波以人为本的计算浪潮中，借助Orion，Meta又迈出了重要一步。
Quest 3S，价格比Vision Pro亲民
混合现实头显Quest 3在6月初首次发布之后，Meta这次推出了同系列低配版Quest 3S头显。
相较于原版（499美元起），Quest 3S更具性价比，仅卖299.99美元（约2100元）。
Quest 3S与Quest 3也有着相同的功能：
高分辨率全彩混合现实，能够让物理世界和虚拟世界无缝融合，并在高通Snapgon XR2 Gen 2搭载。
通过Touch Plus控制器，可以进行手部追踪的自然交互。
当然，Quest 3S也是采用的Meta自研Horizon OS系统，各种娱乐、健身、社交、游戏应用，应有俱全。
而且，随着软件定期更新，头显也会变得越来越好。
若说这两款头显，有何不同？
最主要的变化在于设计、菲涅尔透镜（Fresnel lenses），以及略有缩小的视角场（FOV）。
Quest是一款集家庭娱乐系统和私人教练于一体的产品。
Connect大会上，宣布了全新Prime Video、亚马逊音乐、Twitch程序上线，未来还将推出Alo Moves XR和SuperNatural Together多人的健身应用程序。
值得一提的是， DC知名游戏Batman: Arkham Shadow终于在Quest 3系列头显中免费玩。
在VR世界中，体验蝙蝠侠前所未有的世界。
与此同时，戴上头显办公，也是一个不错的选择。
Meta将微软办公软件集成到应用之中，画布延展，多人协作，打工人都不曾想到，未来办公这么美好。
很快，Quest头显也将轻松连接到Windows 11个人电脑上，通过键盘直接配对。
电脑屏不够用，也不用外接显示屏了，一个Quest头显就能实现。
Meta称，我们正在建设的：不是下一个游戏平台，而是下一个计算平台。
在这个平台中，你可以看电影、听音乐、做电子表格、与朋友一起玩游戏，闲逛，甚至聊天。
因此，计算平台系统Horizon OS，便是开启这一幕最理想的界面。
会上，Meta还公布了基于Horizon OS平台上工具更新。
主要有扩展混合显示功能的套件，比如音频到表情、声线追踪（ART）、微手势、直通摄像头访问API等。
如下，是通过微手势触发移动的示例。
另外，在虚拟化身上更新，Meta计划让照片在虚拟空间动起来。
这就非常类似，苹果Vision Pro中的「空间视频」。
这里，Meta将其称之为Hypersscape，可以将你带入照片中的虚拟世界，就像是在一个平行时空中的自己。
这背后就利用高斯渲染技术，通过云渲染和流媒体方式，让其在Quest 3头显中活灵活现。
小扎在主旨演讲中，展示了纽约Daniel Arsham的艺术家工作室。
通过手机扫描房间，并在Horizon中便可轻松将物理世界，带到数字世界中。
根据官方定价，配备128GB入门级Quest3S，仅需299.99美元。256GB存储空间，售价399.99美元。
想要直通顶级体验，那就得配上512 GB Quest 3。
新增记忆能力，Ray-Ban眼镜再升级
另一边，首发自研AR眼镜之外，Meta还为Ray-Ban眼镜更新了一些新功能。
几个月前，集成Meta AI助手眼镜，大秀了一场。
这次，Meta称不用说「嘿，Meta」，直接用唤醒词即可开启对话，让人与设备之间交谈更丝滑。
比如，当你拿起面前这件衣服，盯着它并表示，「帮我记住这件夹克，这样我就可以向Nas展示」。
同时，Ray-Ban眼镜新增了记忆功能。
假设当你打飞的到了某个地方时，不必绞尽脑汁记住自己在哪里，眼镜就可以为你代劳了。
而且，更贴心的是，你可以用自己声音设置一个提醒——安全着陆时，三个小时内给妈妈发短信。
眼睛看哪，Ray-Ban便会指向哪。
比如，看着传单上的电话号码、或者二维码，眼镜可以根据你所看内容，采取行动。
另外，眼镜的视频输入正添加Meta AI助手支持，方便获得实时的帮助。
当你去另一座城市，遇到新的地标，或者想要了解下一步旅行计划，直接可以与Meta AI实时交流。
大会上，Meta还预告了下一个新功能——实时翻译。
当你与西班牙语、法语、意大利语的人交谈时，可以通过眼镜的开耳扬声器，直接听到的是「英语」的版本。
小扎现场和同事演示了，西班牙语和英语如何无缝交流精彩一幕。
这简直就是异域旅行者们的福音，完全无障碍畅玩全世界。
总结一波：Quest 3S头显、雷朋智能眼镜、全息AR眼镜、Llama 3.2大模型……这届Meta Connect 2024大会，小扎赢麻了。
参考资料：
https://x.com/boztank/status/1838999636402647453
https://about.fb.com/news/2024/09/introducing-orion-our-first-true-augmented-reality-glasses/
https://www.meta.com/blog/quest/connect-2024-keynote-recap-quest-3s-llama-3-2-ai-wearables-mixed-reality/
推荐阅读
欢迎大家加入DLer-计算机视觉技术交流群！
大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）
👆 长按识别，邀请您进群！
扫一扫
739
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
