XR开发 第2章 apple vision pro XR开发的基础知识 1- 软件篇

系列文章目录

XR开发 第1章 聊一聊apple vision pro XR的开发

---

---

前言

本来是考虑到XR的学习资料比较少，但是VR和AR的资料相对比较充足，且XR当前发展只是早期阶段，所以先从VR和AR学起，再去研究XR的。但是后来看了一下B站上发布的苹果官方培训教程，感觉讲的还是不错的，因此决定还是先从XR开始学，后续有需要了再去学习VR和AR。

本章我主要是结合苹果官方的第一节课所提到的各种基础知识进行说明，因为自身在该领域属于小白，所以很多名词解释我觉的还是直接采用官方的比较合适，如果我有一定理解的我会加上我的说明。

• 注意
  苹果的xr开发教程主要以苹果电脑的开发环境（xcode）为基础，因此大家如果想要深入学习，建议入手一个苹果的主机，这两天我在一些平台上看了下，然后百亿补贴3000块钱买了个M2-256G的mini主机，感觉还是很划算的。

1、苹果官方视频教程简介

1.1 视频链接

https://space.bilibili.com/45159184/video
感谢B站UP主，“OS月月鸟”的搬运

1.2 视频内容简介

这里我主要是想和大家分享一下目前更新了的视频有哪些，视频章节是什么样的，然后让我们对整体内容有个大致的了解。

• 第一集：开始构建用于空间计算的应用程序
  
• 第二集：空间设计的原则
  
• 第三集：创造具有辅助性的空间体验
  
• 第四集：创建你的第一个沉浸式程序
  
• 第五集：认识用于空间计算的switf UI
  
• 第六集：认识用于空间计算的UIkit 框架
  
• 第七集：升级你的窗口应用以进行空间计算
  
• 第八集：将Swift UI框架提升到新的维度
  
• 第九集：使用swift UI 超越二维码窗口
  
  第十集：使用 RealityKit 增强你的空间应用程序
  
• 第十一集：使用RealityKit构建空间体验
  
  第十二集：初始空间计算组件
  
• 最后：我没注意后面还有没有新的续集，如果有了后续我再补充上来，然后现在所有的视频我还没看完，后续看完了有更深的理解后我再做个总结说每个视频到底在说什么

2、基本概念

这个基本概念里面，主要提取视频中以及视频标题中所提到的各种专有名词，我们先做个简单的了解。等后面用到了咱们再深入了解。

2.1 新的UI概念

2.1.1 space

• Shared Space
  
  官方解释：默认情况下应用程序会启动到共享空间，这个一个应用程序共存的地方，很像MAC上的多个应用程序。

我的理解：这玩意他不就是电脑的桌面吗？就是说一开机啊，你看到的桌面以后就是这个共享空间了。这个相当于AR的场景

• Full Space(完整空间)
  
  官方解释：当你想要集中注意力看某个应用的时候，你可以选择完整空间

我的理解：其实它和Share Space差不多的概念，只不过他能够提升沉浸度。如果把Share Space理解为AR空间的话，那么Full Space应该就是VR空间了

2.1.2 window(窗口)

官方解释：每个应用程序都可以有一个或多个窗口，他里面可以包含各种，他可以包含传统的视图和空间以及3D内容，允许混合2D和3D内容

我的理解：这个其实就是普通UI中的窗口，你拖动鼠标可以调整窗口的大小，以及点击“一”把窗口隐藏起来。

2.1.3 Volume（体积）

官方解释：Volume允许在其中显示3D的内容，而且可以从不同的角度去查看这个Volume

我的理解：它类似于我们2D UI中的控件吧，或者容器，比如你通过容器划出一片区域，然后在容器中放置4个按键，这4个按键无论如何都在这个容器中的。

2.1.4 Passthrough(透视)

我的理解：其实就是通过类似于半透明的效果，将这个窗口吧，看起来像是现实世界中的一样。就是类似于AR。

2.1.5 Fully Immersive(全沉浸式)

我的理解：全沉浸式的体验，可以选择渲染到完全身临其境的空间，填满整个视野，其实就是实现VR

2.2 Swift UI

Swift UI是一种用于构建用户界面的声明式框架，由苹果公司开发。它是使用Swift编程语言来创建iOS、iPadOS、watchOS和macOS应用程序的一种方法。

我查看资料了解到Switf UI本来只是用于开发2D界面和应用程序的，现在XR使用Swift UI，那么应该是该框架支持了开发3D界面和应用程序。

2.3 RealityKit

Apple在iOS13推出了一个全新的AR框架RealityKit，RealityKit使用逼真的物理材质、环境反射、地面阴影、相机噪声和运动模糊等将虚拟内容与现实世界无缝融合，且和ARKit配合使用通过逼真的渲染、骨骼动画、空间音频和刚体物理，使的AR开发比以往更快更容易，但是需要注意的一点是RealityKit仅有Swift API。

参考链接:
知乎：SceneKit RealityKit SpriteKit 之间什么区别

2.4 Xcode

苹果的集成开发环境，Xcode除了提供了一般IDE所具备的项目管理意外，还提供了UI的可视化编辑以及运行时可视化，我觉得这块是非常重要的，试想一下，当你在做XR开发时，能够随时随地的预览自己的改动，那效率还是很高的。

视频中提到Xcode最重要的一点是带有一个 PLATFORMESTIC A，提供了完整的框架和API集，我们可以使用这套框架和API用于开发自己的应用程序。

另外Xcode还提供了模拟器的功能，能模拟鼠标和键盘等去控制我们做出的界面。模拟器带有3个不同的模拟场景，后续等我理解了这几个模拟场景，我在同步给大家

2.5 Instruments(工具)

Xcode附带的性能分析工具，利用这个工具可以分析应用程序运行过程中不同时刻所消耗的CPU和GPU，可用于确认性能热点，以达到轻松观察和理解框架瓶颈的效果。

2.6 Reality Composer Pro

这是一个新的开发工具，我不是很确定是一个和XCODE一样的独立应用程序，还是Xcode上的一个插件，目前来看前者的可能性比较大

他允许你预览和准备应用程序的3D内容，其实就像是我们玩游戏创建场景一样，你有一些自己做的3D资产（例如一个3D的小轮船）在你的背包里面，然后使用该工具可以利用我们的3D资产，生成任意我们想要生成的内容。

看介绍是可以使用这种零代码的方式进行3D场景的创建的，然后当你对自己创建的场景满意后，可以直接发到设备上去进行预览。

2.7 Unity

Unity是一款跨平台的游戏引擎，可以用于开发PC、手机、平板电脑、主机等多种设备上的游戏和交互应用程序。在Unity中，可以使用各种插件和工具来开发VR/AR/MR应用程序，如SteamVR插件、Oculus插件、Vuforia插件等。这些插件和工具提供了与设备硬件的交互、位置跟踪、手势识别、环境感知等功能，使得开发者可以更加轻松地创建出各种类型的VR/AR/MR应用程序。

Unity还提供了一些内置的VR/AR/MR功能，如高级图形渲染、物理引擎、声音系统等，这些功能使得开发者可以更加灵活地控制应用程序的表现和性能。

因此，Unity可以说是目前最流行的VR/AR/MR应用程序开发平台之一。

总结

本章主要介绍一下学习资料来源以及资料大致信息。
另外根据视频中第一节课的上半部分讲解，将基础内容给梳理出来。由于还是小白，因此一些理解还不是很深刻，大家可以做一下参考，然后不要全然信服。

下一章我会介绍一下XR开发过程中UI设计的基础概念和方式。