苹果在过去的几年中一直致力于增强现实,今年,在WWDC18上,苹果发布了其最新版本的AR框架:ARKit2。今年的发布充满了新功能,在本文中,我们将看看ARKit 2的新增功能。
乍看上去
在深入研究更改之前,让我们花点时间回顾一下ARKit的实际含义。 ARKit是允许开发人员为iOS设备创建沉浸式增强现实应用程序的框架。 有了这个框架,开发人员不再需要昂贵的硬件来实现逼真的AR,而是只需要其iOS设备的内置摄像头即可。
它是如何工作的?
由于ARKit仅使用iOS设备的内置摄像头和传感器进行操作,因此需要复杂的软件才能使虚拟对象在场景中看起来栩栩如生。 它使用水平面检测,特征点和光估计来赋予虚拟对象逼真的特征。
它使用什么传感器?
ARKit由Apple开发,因此很显然,它可以在其设备上运行,更具体地说,是在iOS设备上运行。 这些移动设备包含某些传感器,ARKit在现实世界中放置物体时会充分利用这些传感器。 可以在iOS设备上找到内置的加速度计和摄像头,ARKit结合使用了这两个组件来增强现实。
1.坚持世界地图
世界地图中的会话状态包括ARKit对用户在其中移动设备的物理空间的感知(ARKit用来确定设备的位置和方向),以及添加到会话中的任何ARAnchor对象(可以表示检测到的真实位置,世界功能或您的应用放置的虚拟内容)。 — Apple文档
根据Apple的定义,世界地图包含锚点,对象和ARKit用于保持用户周围空间感知的其他功能。 在当前版本的ARKit中,这些映射在会话开始时创建,并在结束时删除。
ARKit 2具有持久保留这些世界地图的能力,从而解除了与他人共享这些体验或将其保存以供以后在同一应用程序中使用的能力。
储存的地图
持久的世界地图意味着您可以保留用户的进度,并允许用户从他们上次停下来的地方快速开始。 这为诸如积木游戏等提供了可能性,在这种游戏中,用户可以通过一系列步骤或级别而不是仅在一个会话中完成游戏。
多用户体验
具有存储和共享世界地图的能力,两个设备可以跟踪相同的世界地图,从而实现多用户游戏和其他共享的增强现实体验。 例如,您可以使用多个设备玩虚拟的砸塔游戏。
2.环境纹理
环境纹理是立方体贴图纹理,用于描述从场景中特定点到各个方向的视图。 在3D资产渲染中,环境纹理是基于图像的照明算法的基础,在该算法中,表面可以真实地反射来自周围环境的光。 ARKit可以在AR会话期间使用相机图像生成环境纹理,从而使SceneKit或自定义渲染引擎可以为您的AR体验中的虚拟对象提供逼真的基于图像的照明。 — Apple文档
使用增强现实时,使对象与周围环境融合非常重要。 在ARKit的第一个版本中,诸如环境光检测之类的功能试图使虚拟对象“适合”场景。
ARKit 2允许对象反映其周围的纹理。 例如,如果将一个发光的虚拟球放置在水果拼盘旁边,您将能够看到该水果在球上的反射,并且不再布置虚拟对象的照明,而是基于图像的。
3. 3D对象识别
建立引人入胜的AR体验的一种方法是识别用户环境的功能,并使用它们触发虚拟内容的出现。 例如,当用户在所显示的雕塑或artifact.-指出他们的设备博物馆的应用程序可能会添加交互式3D可视苹果文档
三维对象是ARKit的核心,不是吗? 该框架的最新版本带来了前所未有的功能:扫描和识别这些对象的能力。
博物馆展品
ARKit 2释放了博物馆或类似组织“扫描”其展品并允许信息面板出现在雕像上方的功能。 通过消除物理信息板并允许快速更新信息,可以节省宝贵的空间。
动作人物
动作人物爱好者可以扫描他们的收藏以输入信息或使他们的动作人物栩栩如生。 在WWDC18上,我们看到了乐高应用程序,它使乐高玩具套装栩栩如生,并提供了多人游戏体验。
4.人脸追踪
面部跟踪配置会根据设备的前置摄像头检测用户的面部。 运行此配置时,AR会话会检测到用户的面部(如果在前置摄像头图像中可见),并将一个代表面部的ARFaceAnchor对象添加到其锚点列表中。 每个面部定位器都提供有关面部位置和方向,其拓扑以及描述面部表情的功能的信息。
随着iPhone X的推出,我们在iOS平台上首次看到了Face ID和Animoji,在WWDC18期间,Apple对此进行了扩展,并仅使用相机添加了更基本的面部识别版本(Face ID使用IR点)投影机)。
在ARKit 2中,可以确定面部在空间中的位置,形状和面部表情。 此信息可用于创建“智能过滤器”或其他使用面部的应用程序。
5. USDZ文件格式
苹果公司推出了一种新的开放文件格式usdz,该格式经过优化,可在Messages,Safari,Mail,Files和News等应用程序中共享,同时保留强大的图形和动画功能。 使用usdz,快速查找AR还允许地方3D对象到现实世界的用户看到的东西会在space.-工作的苹果文档
苹果公司与Pixar合作,为ARKit 2中的3D对象引入了一种全新的文件格式。这使这些虚拟对象可以与其他对象使用一种单一的紧凑格式共享,甚至可以嵌入到网页中。
快速浏览
在网站,文本消息或电子邮件中,可以共享USDZ文件,并将其立即放置到现实世界中,只需在iOS 12中点击“快速查看”按钮即可预览和采样3D对象。
创建文件
这些USDZ文件可以使用流行的软件轻松创建,例如Adobe的Creative Cloud,Autodesk和Sketchfab。 这些公司在WWDC18期间介绍了以这种新文件格式使用其软件的情况。
结论
如您所见,Apple在开发人员和用户均可享受的引擎盖和用户端功能方面对ARKit框架进行了多项改进。
请继续关注Envato Tuts +,以获取有关这些主题的更多信息。 同时,请查看这些文章中提到的每个功能的文档链接,并亲自尝试一下!
翻译自: https://code.tutsplus.com/articles/whats-new-in-arkit-2--cms-31384