详解iOS之ARkit追踪技术以及其他技术的未来

在这篇文章中，我们能学习到

1，追踪技术的未来,

2，AR 计算机视觉的未来,

3，AR 其他技术的未来

追踪技术的未来

人的身体有视觉、听觉、嗅觉味觉、触觉和运动五大感知系统，然而我们所接收的80%的信息都来自于眼睛。

眼睛不仅是我们的输入主设备，也是我们的输出设备。俗话说：“眼睛是心灵的窗户”，情侣之间的爱意也是靠眼波的流连婉转。眼睛透露出我们很多的“秘密”。

这是小编的一个ios，java学习交流群659170228

目前我们的人机交互还主要靠的是键盘、鼠标、触摸，这些输入并不直接也不高效。人机互动的发展方向应该是越来越人性化，要能“听”、能“看”，能主动探索和回应需求。

眼球追踪就是这样一个让机器人更懂人类的技术。眼球追踪主要是研究眼球运动信息的获取、建模和模拟。一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。

眼球追踪技术的发展由来已久，应用的场景广泛。在心理学实验中，可以通过人的瞳孔变化来监测一个人是否在说谎；在广告效果监测方面可以通过人眼注视点的移动来判断人的偏好；而到了人机交互方面，眼睛可以取代键盘、鼠标和触屏，一些手机可以在人眼离开时暂停视频播放，也有残障人士通过眼睛打字完成了一本书的写作。

不少消息都提到苹果将会在下一代的 iPhone 上使用全新的生物识别技术，而面部识别近期一直都被不少分析师提及，当然，苹果最近又收购了一家相关的企业，到目前为止苹果公司已经收购了多家面部识别公司，不过现在，我们或许可以暂时将面部识别放到一边，先讨论一下眼球跟踪的潜力如何？

而一些技术人员也提到，眼球跟踪传感器为我们提供了两个好处，首先，它使设备知道用户在任何时间点感兴趣的内容，第二，它提供了一个额外的方式，让用户与内容进行交互，而不需要借助其他任何的东西，这意味着它增加了用户和设备之间的紧密的联系。

而且在日常生活中，眼球追踪技术最热门的载体是手机。苹果的竞争对手三星和LG其实都已经在使用相关的技术，而且该技术还可以在笔记本电脑或者显示器上发挥自己的左右，成为一种标准的功能，所以说，如果苹果要为自己的设备配置类似的技术也是合情合理。

相关人士也提到，在过去一年时间里，眼球跟踪技术作为一个有前景的技术，正被更多的消费者认识，同时也开始渐渐出现在一些商业产品上。

大家都知道苹果对于 AR/VR 领域非常感兴趣，而且不少人都认为 AR/VR 会成为苹果下一个大事件，而 VR 设备与眼球跟踪传感器简直就是一对“绝配”。不少 VR 公司都在眼球跟踪传感技术上投入了大量的精力，而且，眼球跟踪技术也被视为对 VR 技术一个很好的补充。

VR 设备会让我们感受到极佳的沉浸式体验，所以说，VR 设备需要让我们真正感受到身临其境的感觉。所以眼球跟踪技术对于移动渲染来说，是非常关键的技术，专家提到，眼球跟踪技术将是下一代 VR 设备的关键部分，而对于现在依然还没有投身到 VR 领域的苹果来说，他们会不会好好利用眼球跟踪技术呢？

眼球跟踪技术对于推动游戏方面同样也会起到非常关键的作用。几十年来，我们使用游戏手柄，操纵杆，键盘，鼠标和其他外设，使 PC 和视频游戏机了解我们正在“看着”的地方。但是在未来，或许使用眼动跟踪，您的计算机已经知道您正在查看什么，并可以做出相应的反应。在苹果的 Mac 电脑上装配眼球跟踪传感器？为什么不呢？

深入学习确实对研究追踪系统有重大影响。目前为止，基于追踪系统的深度学习大约产生 10％ 的误差，其中顶级的 VIO 系统的误差只有个位数，这一数字还在变小，并且将优化室外重新定位。

双摄像头或鱼眼镜头有助于看到更大的场景，可以捕获更多的光学特征。例如：普通镜头可能只看到白色的墙壁，鱼眼镜头下可以看到天花板的图案和地毯，Tango 和 HoloLens 均采用了这种方案。而且，双摄像头或鱼眼镜头可获得深度信息，其运算成本要低于 VIO，但是 VIO 使用低成本的 Bom 和低功耗便能获得深度信息。

由于双摄像头手机的摄像头（即便是 HMD）所处位置很接近，所以摄像头的精确范围对于深度计算来说，非常有限。相隔几厘米的摄像头只能精确几米范围内的深度。

而从头到尾追踪最关键的是，支持更大范围的追踪，尤其是支持户外数钱公里的范围追踪。在这点上，AR 追踪和无人驾驶跟踪几乎没有区别，只是 AR 系统使用较少的传感器，耗能也较低。最终，任何设备都将适用于大范围追踪，云服务也是必须的，故而，Google 最近宣布了 Tango 的视觉定位服务意图也在此。未来几个月我们将看到这些变化，这也是每个人现在都关心 3D 地图的原因。

AR 计算机视觉的未来

6 Dof 位置追踪技术将在未来 12-18 个月内完全商品化，覆盖所有设备。现在还有哪些问题亟待解决呢？

3D 重建系统，HoloLens 称之为空间映射（Spatial Mapping），Tango 称之为深度感知（Depth Perception）。3D 重建系统能够找出场景中真实物体的形状或结构。这个技术允许虚拟内容隐藏于现实世界后面。

这让人们出现概念混淆，认为 AR 便是“混合”现实，其实是增强现实，多数 AR demo 并没有 3D 重建系统的支持，所以 AR 内容只是覆盖于所有真实世界物体的前面。

3D 重建系统通过从场景中捕获密集点云（今天使用深度摄像头），将其转换为网格，将“隐形”网格连同真实世界的坐标导入 Unity 中，然后当真实世界的景象出现在摄像头中时，把那些网格放置在真实的景象上。

这意味着虚拟内容可以与现实世界互动。注意 2D 版本的ARKit 通过检测 2D 平面实现，这是最为基本的要求。倘若 ARKit 没有参照地面，用 Unity 制作的内容肯定会肆意“漂浮”。

图片中，Magic Leap 公司演示了一款躲在桌腿后面的机器人。我们不知道桌子腿是实时重建，还是预先建模，再把虚拟机器人放在真实桌子腿的后面。

上述提到的深度摄像方面问题在 3D 重建上仍然存在，这就是为什么目前无法广泛使用。研究人员正在研究，让单目 RGB 摄像头支持实时的照片级 3D重建。这个技术至少需要 12-18 个月才能应用于产品中。也是因为这样，我才认为“真正的”消费级 AR 头戴设备依旧离我们很远。

在 2012 年，Dekko 的 3D 重建系统可在 iPad 2 上工作。我们不得不将网格显示出来，否则用户不敢相信他们所看到的（追踪系统可理解现实世界）。图中越野车刚刚完成了跳跃，部分隐藏在纸巾盒后面。

3D 重建之后，有许多有趣的研究注解 3D 场景。你现在能看到的几乎所有的计算机视觉深度学习使用的是 2D 图像，但对于AR（汽车、无人机等），我们需要在 3D 中从语义方面理解这个世界。

图片为一例 3D 场景语义解释。 底部是原始图，中间是 3D 模型（可能由立体相机或 LIDAR 构建），最上面是通过深度学习的图像分割，所以我们能从中分辨出人行道。这对《Pokemon Go》也十分有用。

然后，我们需要弄清楚，如何将所有惊人的技术扩展到实时支持多个用户。这是终极目标。

随着 3D 重建所需容量越来越大，我们需要了解如何将其托管至云服务，让多个用户共享并扩展模型。

AR 其他技术的未来

AR 其他技术的未来说起来太广泛，先谈谈要进一步发展的技术：

光学：视野范围、镜头尺寸、分辨率、亮度、焦深、聚光度等等都需要解决。

我们会看到一些“过渡性”的 HMD 设计，它们受制于一些关键参数，只试图解决一个问题，如社交性，或是追踪技术，或是企业用户案例，以及其他，之后我们才能看到最终的消费级产品方案。

渲染：使虚拟内容与现实世界融合。

确定真正的光源，将其与虚拟世界相匹配，使阴影和纹理看起来很合理。这个技术是好莱坞 SFX 多年来一直努力的方向。但是对于 AR 来说，需要在手机上实时完成，并且不会影响到真实世界的光或背景，即便是琐碎的事情也很重要。

输入：这方面还有很长的路要走。

研究表明，多模式输入系统效果最佳（有谣言说苹果正在做这方面的事情）。多模式意味着各种各样的输入“模式”，如手势、语音、计算机视觉、触感、眼睛跟踪等，为最好理解用户意图，AI 也应该一起考虑进去。

图形用户界面（GUI）和应用程序：目前还没有我们想象中的 AR APP。

我们只想看看 Sonos （无线智能音响）在设备上显示控件，并不想选择 Sonos 按钮。而且我们一直关注的是视野范围内画面，和与实现世界的交互，没有人知道该如何呈现，但肯定不会是 4 x 6 的网格图像。

社会问题：只有 Apple 和 Snap 知道如何营销时尚，AR HMD 的销售可能只是人们最求时尚。这个问题或许比所有技术问题都难以解决。

各位看官觉得小编写的不错 可以点一波关注跟收藏！给小编一点鼓励跟动力！