【XR】One More Thing：Vision Pro ，7年磨一剑，2023WWDC苹果发布Vision MR

1. 苹果MR Vision Pro：

Vision Pro 的发布，可以算是苹果公司自 2015 年 Apple Watch 首次亮相以来最大的硬件产品发布，或许它会彻底改变数百万人与电脑和周围世界的互动方式。

”苹果 CEO Tim Cook 表示，“Mac 带来了个人计算，iPhone 带来了移动计算，而 Apple Vision Pro 为我们带来了空间计算。”
这个名为 Vision Pro 的 MR 头显终于登场：无论是售价为 $2899，还是酷似滑雪镜的外观设计、数字表冠设计，都已经与之前的曝光相符合。苹果的产品设计和工业设计真的很强。

1. 专利布局：苹果表示在开发过程中申请了5000多项专利。

2. 专属感知计算芯片

在底层芯片方面，Vision Pro搭载自研的M2芯片和R1芯片，其中全新R1芯片主要负责传输包括12个摄像头、5个传感器（dtof 结构光 4个cam，其中包括用于捕捉3D信息的LIDAR摄像头以及用于追踪头部运动、眼球运动和手部运动的运动传感器。这些传感器和摄像头共同使Vision Pro能）和6个麦克风的信息，以应对传感器和显示屏之间延迟带来的体验不适。Vision MR将为保持图像处理速度和精度方面提供新的解决方案，使苹果设备支持更快、更精确的AR/VR体验（R1芯片的研发，用于支持x个cam，6个声音采集传感器，深度传感器等的数据同步，专门用来处理数据延迟这一痛点，这个在实际的研发过程中，真的非常重要且棘手，如果可以有一个方案彻底的从低层解决这一问题，必然会成为主流方案的发展方向）。Vision Pro 搭载了 Apple M2 芯片，此外还有负责视频流的最新 R1 芯片，该芯片会处理来自摄像头、传感器和麦克风的输入。R1 芯片能够在 12 毫秒内将新图像传输到显示器，比眨眼快 8 倍，这意味着几乎消除了延迟。够识别手势并用作导航操作。

 Apple Vision Pro 的外部包括以下几种视觉传感器

8 个摄像头

2个前向的RGB摄像头，支持前向拍摄和VST

4个向侧前方的鱼眼红外摄像头，支持6DOF追踪

2个向下的红外摄像头，支持躯干追踪和下方的手势追踪

2个红外激光器，发出红外光对操控区域的躯干、腿部、膝盖、手以及环境进行照明，以辅助红外摄像头和鱼眼红外摄像头对相应区域内活动单元的捕捉

1 个dToF LiDAR激光雷达，沿用iPhone pro后摄的dToF LiDAR形式，支持3D拍摄、空间重建、空间的深度感知与定位

1个结构光相机，与iPhone的前置结构光Face ID类似，苹果公司称之为TrueDepth摄像头，支持FaceTime应用的面部扫描功能和前向区域的精细手势追踪

Apple Vision Pro内侧传感器分布图

Apple Vision Pro 的内部有 4 个红外摄像头和一圈 LED，推测应该是采用结构光方案的光场信息进行眼动追踪和眼部表情分析。
苹果公司在Apple Vision Pro上使用了丰富的传感器硬件，其中与其他VR厂商的尝试所明显不同的是，苹果公司使用了激光雷达LiDAR和结构光传感器，并取消了手柄而转用手势追踪来进行交互。这两者的结合，配合苹果公司优异的UI界面效果，实现了在同类硬件设备中非常突出的表现，让第一批Apple Vision Pro的实机体验者们对其大部分功能给出了极高的评价。

3. 显示屏系统方面

Vision Pro使用的是microOLED，两块面板一共2300万像素，每个眼镜分到的像素比4K电视还多。OS方面，苹果推出全新的VisionOS，支持空间计算和低延时，这也是苹果首款彻底为空间计算打造的操作系统。

4. 续航方面

采用分离式电池设计，外部电池可提供2小时续航。身份识别方面，Vision Pro基于虹膜的独特性，采用了optic ID安全系统，和faceID类似可以进行密码填充、购物等操作。

5. Vision MR 的新框架

苹果在WWDC 2023上推出了名为**"Vision MR"的新框架**，旨在改进增强现实和虚拟现实应用程序（这是生态方面，当前阶段苹果明显处于落后阶段，所以他们也是非常重视和关注这一点），开发者可以利用Vision MR框架，构建更丰富、更创新的AR/VR应用程序.对于游戏开发者而言，Vision MR将带来更加自由、创意性的体验，苹果公司还将推出一系列Vision MR开发工具，并为开发者提供支持；Vision MR框架将与Core ML紧密结合，以改进机器学习应用程序性能；Vision MR框架将支持使用iPhone 12 Pro、iPad Pro等苹果设备； Vision MR还将在医疗保健和教育领域方面提供重要进展（比较重视的领域，这可能与老大哥HoloLens的经验有关系）；Vision MR将为智能家居和自动化技术带来更好的控制和管理能力。运用Vision MR的游戏，将带来更多虚拟现实中的互动和娱乐体验，让玩家深入沉浸其间。Vision MR将提供更快速的搜索和导航功能，例如地图和旅游应用程序。 新框架将支持更多的语音交互方式，例如Siri和语音助手。Vision MR还将提供更好的视觉辅助功能，例如文字识别和翻译。这一框架包含了很多XR的硬性条件。
这里包含大量的感知与三D重建的技术，这块可以说是做到了极致的体验。
巴拉巴拉说了这么多，没有一个准信，没有找到应用场景的突破口，美其名曰说是学习iwatch的成长方式，一边研发，一边找场景定位。

这里apple 作了一些应用尝试：更加的符合直觉和认知。
FaceTime人物3D效果

苹果Vision Pro的FaceTime通话交流并不是平面2D，而是立体3D化。在目前主流的AR/VR远程协作交流中，非AR/VR终端用户在AR/VR环境都是平面2D效果。立体3D化的AR/VR环境交流显然更具有沉浸感。

6. VST

比较惊艳的一点是VST可以双向显示，这样MR更加的适用，在与人沟通的时候不用摘下，别人也可以看到你的面部表情。

7.交互方式（眼动交互+手势）

另一个比较惊艳的技术是交互方式，这块apple是坚持自然交互的，但是存在反馈问题这块，好像也没有很好的展示，这是基于自然交互的短板。但是三维交互有着天然优势，十分符合人类直觉。

8.summary

这里可以直观感知到的就是apple把 slam 三维重建 人脸重建 虚拟人物重建 手势识别 眼球追踪 不知道有没有语义感知层面的算法 整合到了一起；一圈传感器中有很多高功耗的类型，散热结构和材料的等均衡；还有就是这些数据的同步与算力的完全支持，这样看下来真的是🐮。

9. 还有哪些欢迎大佬们补充讨论！

2. PMF(Product Market Fit)番外

这里想到做产品的同学会经常提到一个词，叫PMF(Product Market Fit)，讲的是我们做的产品只有在验证了它的市场契合度的基础上才能够扩大销售生产，而在此之前，任何扩大销售和推广都是不应该的，而PMF就是这中间的衡量标准。
找到PMF很难，但放在一个较长的时间维度下，比如十年，我相信天才的产品经理和工程师是可以找到的。
但是当我们已经有了天才的产品经理和工程师，还是找不到PMF，这是为什么呢？
这里我想提出一个新概念，叫TMF （Technology Market Fit）。放在更长的历史维度下，M其实一直都在，但如果T不够ready，即使有天才的产品经理和工程师，也无法完成F，因此规划中的P也不会出现。而每一个时代天才的产品经理和工程师的使命是：利用当时的T，完成F，形成伟大的P，所以一个时代的P=TMF。
XR行业之所以难，难就难在T（Technology）不 ready，而T不是天才产品经理和工程师可以解决的，大家都在期盼这个转折点的到来。