Snapdragon Spaces 开发指南（13）

最新推荐文章于 2024-08-01 11:03:44 发布
最新推荐文章于 2024-08-01 11:03:44 发布
阅读量236 收藏
点赞数
分类专栏： Snapdragon Qualcomm 笔记 文章标签： microsoft Qualcomm Snapdragon unity
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38498942/article/details/132585525
版权
笔记 同时被 3 个专栏收录
364 篇文章 47 订阅
订阅专栏
Qualcomm
150 篇文章 19 订阅
订阅专栏
Snapdragon
27 篇文章 5 订阅
订阅专栏

Snapdragon Spaces 开发指南（13）

6.3.2.2 手部追踪交互

本节介绍使用手部跟踪交互所需的不同参与者和组件。

警告
手部追踪交互不仅用于手部追踪示例，还用于项目的所有示例。这允许用户与可与手部跟踪交互的小部件角色和 3D 角色进行交互。

6.3.2.2.1 空间手势输入管理器角色

要使用手部追踪交互功能，这是非常重要的角色。为了将手部追踪设置为输入模式，需要将此角色添加到关卡中。建议使用Spawn Actor of class节点来生成此角色。

在这里插入图片描述

警告
在将此角色添加或生成到关卡中之前，请务必检查手部追踪是否可用。在这里插入图片描述

控件手势输入管理器参与者负责实时监听手势并使用委托报告基于这些手势的操作。它生成并拥有 ASpacesHandInteraction 类的两个参与者，每只手一个，这是执行交互所需的。以下部分列出了可在此类中访问和使用的不同变量和函数。

6.3.2.2.1.1 变量
  • FOnSpacesHandPinch OnSpacesHandPinchLeft 和 FOnSpacesHandPinch OnSpacesHandPinchRight：触发委托以通知捏合手势状态。
  • FOnSpacesHandOpen OnSpacesHandOpenLeft 和 FOnSpacesHandOpen OnSpacesHandOpenRight：触发委托以通知有关张开手势状态的信息。
  • FOnSpacesHandGrab OnSpacesHandGrabLeft 和 FOnSpacesHandGrab OnSpacesHandGrabRight：触发委托以通知 Grab 手势状态。
  • FOnSpacesHandInteractionStatusUpdated OnSpacesHandInteractionStatusUpdated：手部交互状态更新时触发的委托，它用布尔值通知状态。
  • TSubclassOf < ASpacesHandInteraction > HandInteractionClass：空间手部交互角色的子类，作为手部交互角色生成。
  • FVector LeftRayPositionOffset 和 FVector RightRayPositionOffset：两个手部交互角色的光线偏移。
  • float RayDistance：两个手部交互角色的光线距离。
6.3.2.2.1.2 函数
  • ASpacesHandInteraction* GetHandLeftInteraction() const 和 ASpacesHandInteraction* GetHandRightInteraction() const：用于获取手部交互角色。
  • void SetHandInteractionState(bool active)：用于启用或禁用手部交互，该函数将影响所有手部交互系统。默认情况下禁用手部交互。
  • void GetHandInteractionState() const：返回手部交互系统的状态。

提示
请参阅 BP_HandTrackingControllerComponent（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Common > Core > Components 下）以了解如何使用控件手势输入管理器角色。

6.3.2.2.2 空间手交互角色

Spaces Hand Interaction 角色负责与关卡中存在的不同手部可交互元素进行交互，例如 3D 小部件和其他类型的角色。 空间手交互角色包括远端手部交互（在场景元素上执行光线投射）和近端手部交互（当用手触摸可交互的角色时将被激活）。 空间手交互角色将用一条光线表示，该光线将从用户指定的手中开始。除非使用近端交互，否则该射线始终可见。光线有两种交互模式：活动（当光线投射到场景中任何手部可交互角色上时）或非活动。光线的颜色和长度将根据这两种模式而变化。要与 UI 交互，请使用远端交互和捏合手势。

提示
在虚幻引擎的 Snapdragon Spaces 示例项目中，手势输入管理器生成了两个空间手部交互类型的参与者，每只手一个，这意味着将手势输入管理器添加到场景中就足够了。

在这里插入图片描述
可以使用以下变量和函数来自定义空间手部交互角色。

6.3.2.2.2.1 变量
  • float LerpFactor：调节角色的平移和旋转速度。
  • float LerpFactor：调节角色的缩放速度。
  • floatMinimumScaleFactor：可以应用于角色的最小比例因子。
  • float MaximumScaleFactor：可以应用于角色的最大比例因子。
  • bool bApplyTranslation：指示是否翻译角色。
  • bool bApplyRotation：指示是否旋转角色。
  • bool bApplyScale：指示是否缩放角色。
  • FOnSpacesHandInteractableStateChanged OnSpacesHandInteractableStateChanged：通过参与者传达手部交互状态的委托/调度程序，使用 ESpacesHandInteractableState 枚举返回状态（请参阅以下代码示例中此枚举的工作原理）。
UENUM(BlueprintType, Category = "Snapdragon Spaces Hand Interaction")
enum class ESpacesHandInteractableState : uint8
{
    Focused = 0,
    Grabbed = 1,
    UnFocused = 2
};

该组件的使用示例位于 BP_SpacesHandInteractableCube 蓝图角色中，位于插件文件夹 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > HandTracking > Placeable > InteractableObjects 下。

在这里插入图片描述

6.3.2.2.3 空间捕捉体积组件

Spaces Snapping Volume 组件继承自虚幻引擎 Box 组件 (opens new window)。它主要用于将 SpacesHandInteraction 角色的光线端捕捉到另一个角色内的所需位置。这对于可交互的 3D Widget 组件（例如按钮、复选框或滑块）特别有用，但它可以用于任何类型的 3D 角色。该组件可以添加到角色内部，并且必须手动放置在所需位置，例如，放置在 3D 小部件中的按钮顶部，如下图所示。

在这里插入图片描述

警告
在将此组件与 UI 一起使用时，遵循以下准则非常重要：

  • 框的位置和大小必​​须与 3D 小部件组件的形式相匹配，否则可能会出现不需要的效果，例如在 3D 小部件角色外部进行光线投射时出现闪烁。
  • 组件的 X 轴方向必须与 3D 小部件组件的方向匹配。这是与小部件组件正确交互所必需的。

要自定义该组件的行为，可以使用不同的变量和函数。

6.3.2.2.3.1 变量
  • bool bSnap：确定组件是否将用于捕捉。在不启用捕捉的情况下使用此组件的可能情况是 3D 小部件滑块。在这种情况下，不可能将光线的末端捕捉到滑块手柄，但为了用户体验需要手部光线的可视化。
  • bool bIsUI：当组件用于 3D Widget UI 组件交互时，必须启用此选项。它可以被禁用以供任何其他参与者使用。
  • bool bIsDisabled：确定组件碰撞是否从一开始就处于活动状态。默认情况下它将为 false。
6.3.2.2.3.1 函数
  • void SetCollisionDisabledState(bool disabled)：用于设置bIsDisabled的值。
  • void UpdateCollisionStatus(bool active)：更新组件的碰撞状态。如果 bIsDisabled 为 true，则无论函数的输入值如何，碰撞都将被禁用。
6.3.2.2.4 空间远端交互盒角色

BP_SpacesDistalInteractionBox 允许使用远端交互来旋转和缩放参与者。为了使用它，必须将其作为子 Actor 组件添加到 Actor 内部进行操作。在 SnapdragonSpaces Content > Hand Tracking > Actors 下找到 BP_SpacesDistalInteractionBox。要查看如何将 BP_SpacesDistalInteractionBox 添加到另一个 actor 的示例，请参阅位于 SnapdragonSpacesSamples Content > Snapdragon Spaces > Samples > HandTracking > Placeable > InteractableObjects 下的 BP_PandaInteractable 角色。远端交互盒由不同的 Spaces Distal Manipulator Actor 实例组成，每个实例都可以称为“操纵点”。 Spaces Distal Manipulator Actor 有两种不同的类型，即 Spaces Distal Scale Point 和 Spaces Distal Rotation Point。根据框中的部分，操作点将具有不同的行为。位于框边缘的操作点用于更改角色的比例，其余操作点将执行不同的旋转，并且根据框上的位置，它们将在 X、Y 或Z 平面。请使用捏合手势与交互框进行交互。

在这里插入图片描述

6.3.3 命中测试

6.3.3.1 命中测试示例

此示例演示了如何对现实世界中发现的点和平面进行命中测试。有关命中测试以及虚幻引擎的线跟踪跟踪对象 3D 节点（如下图所示）功能的基本信息，请参阅虚幻引擎文档（打开新窗口）。为了使用此功能，必须在项目设置 > Snapdragon Spaces 插件下的 OpenXR 插件设置中启用它。此外，还必须启用平面检测功能才能使命中测试正常工作。为了获得更准确的命中，请在 AR 会话配置中启用平面检测功能的使用凸包检测选项。

在这里插入图片描述

6.3.3.1.1 示例如何运行

当示例打开时，小控件始终位于用户面前，并且每次更新都会启动光线投射。如果它返回成功的命中结果，则小控件将移动到命中姿势并以青色、黄色和洋红色显示。如果未检测到击中，小工具将移动到头部姿势前方一米并变为红色。

6.3.3.1.2 命中管理器

该示例使用 BP_HitManager 蓝图资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > HitTesting > Placeable 下）来处理示例映射中的命中测试。要启用和禁用命中测试，必须将Toggle Spaces Feature方法与命中测试作为功能一起使用。开发人员可以使用多种选项来自定义用于命中测试的射线：

  • Distance Ray Cast：光线的长度。
  • GizmoTag：在 BP_Pawn 的 SceneComponent 中定义的标签名称，用于放置（也称为示例中的白色小控件）。
  • Distance Gizmo：从头部姿势到放置对象的距离。

6.3.4 图像追踪

6.3.4.1 图像追踪示例

该示例演示了如何检测和增强现实世界中发现的图像目标。

有关自定义可跟踪对象更新以及虚幻引擎的 AR Trackable Notify 组件功能的基本信息，请参阅虚幻引擎文档（打开新窗口）。为了使用此功能，必须在项目设置 > Snapdragon Spaces 插件下的 OpenXR 插件设置中启用它。

6.3.4.1.1 示例如何运行

默认情况下，当示例运行并识别图像时，它会在物理目标上生成一个小控件。该示例当前仅识别一张图像，并在地图中包含的 UI 面板中显示其世界位置。

在这里插入图片描述

6.3.4.1.2 图像AR管理器

BP_ImageTrackingManager 蓝图资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > ImageTracking > Placeable 下）通过事件系统处理创建和销毁 BP_Gizmo_AugmentedImage 角色。它绑定来自 AR Trackable Notify 组件（打开新窗口）的事件，以对 AR 可跟踪图像的更改做出反应。当系统检测图像时，它会调用添加/更新/删除跟踪图像事件。在示例蓝图中，如果应开始检测，则Toggle AR Capture必须设置为ON；如果应停止检测目标并销毁所有生成的 AR 图像，则必须将Toggle AR Capture设置为OFF。切换空间功能可用作启用该功能的替代方法。此外，必须将场景理解设置为该节点的捕获类型。

6.3.4.1.3 图像 AR 会话配置

系统开始使用 D_SpacesSessionConfig_ImageTracking 资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > ImageTracking > Core 下）来检测图像。该资源是从 SpacesSessionConfig 类派生的数据资源。

会话配置文件提供三个字段：一个用于定义图像大小的字段，一个用于指定应跟踪的同时图像的最大数量的字段，以及一个用于引用要跟踪的候选图像的字段。

创建图像跟踪器在一个异步线程中进行，以避免在要跟踪的图像数量非常多时出现冻结问题。因此，有时图像跟踪可能会延迟启动。请监听On Spaces Image Tracking Is Ready代理事件，以确定何时可以开始跟踪图像。

在这里插入图片描述

6.3.4.1.4 AR 候选图像

虚幻引擎使用一种称为 AR 候选图像（打开新窗口）的专用资源类型。创建 XR 系统应跟踪的图像的引用。开发人员可以根据需要添加任意数量的 AR 候选图像，并将它们分配给 AR 会话配置中指示的数组。

要创建 AR 候选图像，必须首先将要跟踪的图像作为纹理资源导入到 Content 文件夹项目中。创建的纹理资源必须在压缩设置中设置 UserInterface2D (RGBA)，建议关闭 mip 贴图。

在这里插入图片描述

提示
您可以在用于测试的图像目标部分找到使用的参考图像

下一步是创建 AR 候选图像资源，候选纹理字段引用创建的纹理资源。每个 AR 候选图像应具有可在友好名称字段中设置的唯一标识符。否则，同一 AR 会话配置中使用的不同候选者中的任何相同名称将导致哈希码冲突。

最后一步是通过宽度/高度字段定义图像的物理尺寸（以厘米为单位）。正确的测量对于正确的姿势估计和随后的增强放置至关重要。考虑到遵循“方向”字段中定义的方向的图像比例，此数据会自动填充。不幸的是，虚幻引擎目前的方向是颠倒的，因此开发人员必须对纵向图像使用横向，对横向图像使用纵向。

如果 AR 候选图像资源父级是 Spaces AR 候选图像，则 Snapdragon Spaces 插件可以在不同的跟踪模式之间进行选择。

  • 动态模式：每帧更新跟踪图像的位置，适用于移动和静态目标。如果找不到跟踪的图像，则不会报告位置或姿势。默认使用。
  • 自适应模式：如果静态图像发生轻微移动，则定期更新它们的位置（大约每 5 帧更新一次）。这在静态图像的功耗和准确性之间找到了平衡。
  • 静态模式：适用于跟踪已知静态的图像。在此模式下跟踪的图像在首次检测到时固定在位置上，并且永远不会更新。这会降低功耗并提高性能，但如果跟踪图像出现任何漂移，其位置将不会更新。

可以在应用程序运行时更改跟踪模式，而无需使用以下节点停止或重新启动 AR 会话：

  • Set Image Target Tracking Mode by Friendly Name.
  • Set Image Target Tracking Mode by Candidate Image.
  • Set Image Targets Tracking Mode by Friendly Name.
  • Set Image Targets Tracking Mode by Candidate Image.

SetImageTrackedModeByID 已在版本 0.15.0 中弃用。

在这里插入图片描述
该示例使用 D_SpacesARCandidateImage_SpaceTown 蓝图资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > ImageTracking > Placeable 下）。图像目标在 26 厘米高处测量（以 DIN A4 或 US letter 打印时）。 BP_Gizmo_AugmentedImage 蓝图资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > ImageTracking > Placeable 下）正在物理图像目标上渲染一个小控件，该小控件在识别和跟踪时指示其方向。

在这里插入图片描述

6.3.5 平面检测

6.3.5.1 平面检测示例

此示例演示了如何可视化现实世界中发现的跟踪平面。有关自定义可跟踪对象更新以及虚幻引擎的 AR Trackable Notify 组件功能的基本信息，请参阅虚幻引擎文档（打开新窗口）。

6.3.5.1.1 示例如何运行

默认情况下，当打开示例时，它会为检测到的平面生成简单的形状。启用“使用凸包检测”选项后，示例将使用检测到的平面的凸包生成复杂的形状。

还可以显示这些几何图形的线框。

在这里插入图片描述

6.3.5.1.2 平面AR管理器

BP_PlaneARManager 蓝图文件（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > PlaneDetection > Placeable 下）集中通过事件系统将创建和销毁平面作为增强几何图形的操作。此蓝图绑定来自 AR Trackable Notify 组件（打开新窗口）的事件，以对 AR 可跟踪平面的更改做出反应。以下事件与平面检测相关：

  • 添加/更新/删除跟踪平面：当系统使用简单平面几何体时，将调用这些事件。
  • 添加/更新/删除跟踪的几何图形：当系统使用复杂的平面几何图形时，将调用这些事件。
    • 与其他情况相反，不同类型的对象可以注册为 UARTrackedGeometry。要验证它是否是凸平面，其对象分类应为 EARObjectClassification::NotApplicable。请使用 GetObjectClassification 函数进行确认。在这里插入图片描述

警告
请记住更改 ToggleARCapture 的状态以重新启动检测，在角色行为开始时选择ON，并停止检测，在完成时选择OFF，以销毁所有生成的 AR 几何图形。

6.3.5.1.3 复杂的 AR 会话配置

当用户启用凸选项时，系统开始使用 D_ConvexHullSessionConfig 资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > PlaneDetection > Core 下）来检测复杂平面。

与平面检测相关的选项有：

  • 使用凸包检测
  • 水平面检测
  • 垂直平面检测
6.3.5.1.4 功能设置

单击 OpenXR 项目设置中平面检测功能旁边的齿轮图标可以找到功能设置。

  • 使用场景理解：
    • 启用或禁用此设置将在检测到的平面的形状和数量方面产生不同的结果。
    • 启用此设置将启用场景理解来检测平面。这利用了空间网格划分（实验）功能所使用的相同技术。

默认平面检测与基于场景理解的平面检测之间的差异

度量默认值场景理解
检测速度和首次检测正常快
误报误报率极低容易出现误报
平面精度高高
平面数量很少很多
平面更新和移动稳定，更新可能性不大动态而且包含更多平面更新的AR会话配置
平面取向滤光片水平和垂直过滤器选项没有过滤选项
命中测试按预期针对平面进行操作针对网格的命中测试

6.3.6 相机框架访问(实验性)

6.3.6.1 相机框架访问示例

警告
相机帧访问功能被标记为实验性的，因为插件和 Snapdragon Spaces 服务方面的优化目前正在破坏各个版本的向后兼容性。

此示例演示了如何从支持的设备访问相关相机信息，在本例中为相机图像和内在函数。目前此功能仅限于 RGB 相机。

6.3.6.1.1 示例如何运行

默认情况下，当示例运行时，UI 显示设备捕获的 RGB 图像以及与其相关的内在值。用户可以使用相应的按钮暂停和恢复帧捕获。

在这里插入图片描述
如果设备未授予相机访问权限，则图像、按钮和相机信息将被替换为建议用户启用它的警告消息。

6.3.6.1.1.1 相机框架访问AR管理器

该示例使用 BP_CameraFrameAccessARManager 蓝图资源（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > CameraFrameAccess > Placeable 下）使用切换 AR 捕获启动和停止相机捕获，如果捕获应该开始，则必须将其设置为ON，并设置为OFF ，如果它应该停止捕获。此外，必须将相机设置为该节点的捕获类型。此功能支持任何 SpacesSessionConfig 资源的配置。也可以使用Toggle Spaces Feature方法来启用或禁用它。

6.3.6.1.1.2 相机捕捉库

Unreal AR界面为我们提供了从相机获取信息的功能。

  • Get AR Texture
    • 返回相机帧。 Snapdragon Spaces 插件扩展了信息以提供 RGB 帧作为 2D 纹理。投射到 Spaces AR 相机图像纹理类以获取帧 RGB 纹理。此外，必须将相机图像设置为该节点的纹理类型。、
  • Get Camera Intrinsics
    • 返回相机的图像分辨率、焦距和主点。
      在这里插入图片描述
      Snapdragon Spaces 插件提供了额外的功能来帮助管理蓝图的相机捕获：
  • Set Camera Frame Access State
    • 要暂停相机捕捉，请将 Active 设置为 FALSE。要继续使用相机进行捕捉，请将 Active 设置为 TRUE。在版本 0.15.0 中已弃用，请改用暂停 AR 会话或暂停空间功能。
  • Is Camera Frame Access Supported
    • 如果捕获可供使用，则返回 TRUE，否则返回 FALSE。如果应用程序使用捕获，建议在 Tick 期间检查此结果。在版本 0.15.0 中已弃用，请改用功能是否可用。在这里插入图片描述

提示
示例的行为在 WBP_CameraFrameAccess 蓝图资产中实现（位于 SnapdragonSpacesSamples Content > SnapdragonSpaces > Samples > CameraFrameAccess > UI 下）。

6.3.6.2 Advanced

本节介绍如何访问原始 YUV 相机帧数据，而无需从生成的纹理中提取它。它还解释了如何获取蓝图中无法访问的额外数据。包含此过程中涉及的所有数据类型和结构，包括属于 USpacesRuntimeBlueprintLibrary 一部分并包含在 SpacesRuntimeBlueprintLibrary.h 中的可用函数。

提示
这些数据和函数只能通过 C++ 访问。

6.3.6.2.1 数据类型

ESpacesPlaneCameraFrameType 枚举描述帧平面的类型。

UENUM()
enum class ESpacesPlaneCameraFrameType : uint8
{
	Y = 0,
	U = 1,
	V = 2,
	UV = 3
};

ESpacesDistortionCameraFrameModel 枚举描述了用于相机校准的不同镜头畸变模型。

UENUM()
enum class ESpacesDistortionCameraFrameModel : uint8
{
	Linear = 0,
	Radial_2 = 1,
	Radial_3 = 2,
	Radial_6 = 3,
	FishEye_1 = 4,
	FishEye_4 = 5
};

ESpacesCameraFrameFormat 枚举描述了相机帧的不同格式。

UENUM()
enum class ESpacesCameraFrameFormat : uint8
{
	Unknown = 0,
	Yuv420_NV12 = 1,
	Yuv420_NV21 = 2,
	Mjpeg = 3,
	Size = 4,
};

FFrameDataOffset 结构描述了帧缓冲区数据中传感器图像数据的偏移量。

USTRUCT()
struct FFrameDataOffset
{
	GENERATED_BODY()
	int32 X;
	int32 Y;
};

FSpacesPlaneCameraFrameData 结构描述了帧缓冲区中的平面。

USTRUCT()
struct FSpacesPlaneCameraFrameData
{
	GENERATED_BODY()
	uint32 PlaneOffset;
	uint32 PlaneStride;
	ESpacesPlaneCameraFrameType PlaneType;
};
  • PlaneOffset 包含从缓冲区开头到平面数据开头的偏移量。
  • PlaneStride 表示从一行到下一行的字节距离。
  • PlaneType描述了帧数据的类型。

FSpacesSensorCameraFrameData 结构包含扩展的相机内在数据。

USTRUCT()
struct FSpacesSensorCameraFrameData
{
	GENERATED_BODY()
	FARCameraIntrinsics SensorCameraIntrinsics;
	FFrameDataOffset SensorImageOffset;
	TArray<float> SensorRadialDistortion;
	TArray<float> SensorTangentialDistortion;
	ESpacesDistortionCameraFrameModel DistortionCameraFrameModel;
};
  • SensorCameraIntrinsics 包含相机的图像分辨率、主点和焦距。
  • SensorImageOffset 是帧缓冲区数据中传感器图像数据的偏移量。
  • SensorRadialDistortion 描述径向畸变系数的浮点数组。
  • SensorTangentialDistortion 浮点数数组，描述切向畸变系数。
  • DistortionCameraFrameModel 描述用于相机校准的镜头畸变模型。

FSpacesCameraFrameData 结构包含帧数据和相机数据。

USTRUCT()
struct FSpacesCameraFrameData
{
	GENERATED_BODY()
	uint32 BufferSize;
	uint8* Buffer;
	ESpacesCameraFrameFormat FrameFormat;
	TArray<FSpacesPlaneCameraFrameData> Planes;
	FSpacesSensorCameraFrameData SensorData;
};
  • BufferSize 是包含数据的缓冲区的大小。
  • Buffer是指向帧数据的指针。
  • FrameFormat 是相机帧的格式。
  • Planes 是包含框架平面的数组。
  • SensorData 包含捕获帧的相机的扩展内在数据。
6.3.6.2.2 函数
  • static FSpacesCameraFrameData GetCameraYUVFrameData()：访问并返回 FSpacesCameraFrameData 格式的最新相机帧数据。
  • static bool ReleaseCameraFrameData()：释放之前访问的帧。必须在使用前一帧数据后使用它才能访问另一帧。
weixin_38498942
关注
专栏目录
Snapdragon-logo.bmp
05-12
Snapdragon logo for splash,800*1280 RGB888
Snapdragon Spaces 开发指南（9）
weixin_38498942的博客
08-30 269
如果稍后生成平面管理器，则底层平面检测子系统将针对该管理器进行调整，并且命中跟踪的工作方式可能会有所不同（例如，结果取决于平面管理器上设置的平面过滤器）。AR 平面网格可视化工具会定期调整网格和线条，并生成一个带有填充和边框的平面，可以通过更改渲染器的材质和属性来调整这些填充和边框。的方法来侦听跟踪图像的更改，可以为跟踪图像的跟踪状态和位置设置适当的 UI 信息，如下面的简化代码示例所示。的字段，以及一个用于定义在检测到跟踪图像时生成的预制件的字段。使用的预制件是一个小控件，指示跟踪图像的方向。
Snapdragon Spaces 开发指南（14）
weixin_38498942的博客
09-05 263
虚幻引擎通过引用将参数显示为返回值a，因此，必须传递表示几何体的参与者的引用以及表示先前索引数量的变量。当应用程序在选择默认开发配置的情况下部署时，在查看器上查看世界空间 UI（小控件）时，帧速率和性能会大幅下降。不幸的是，这个问题的根本原因尚不清楚。空间网格功能被标记为实验性的，因为软件包和 Snapdragon Spaces Services 方面的优化目前正在破坏各个版本的向后兼容性。在应用程序的第一帧上启动 AR 会话（例如，在初始地图的开始播放时）将在虚幻引擎 5.0 中崩溃。
用 OpenXR 帮助 XR 行业成长——高通和神木是怎么做的
最新发布
XRealityZone的博客
08-01 323
在这篇文章中，我们深入探讨了高通在 XR 领域推出 Snapdragon Spaces XR Development Platform 的举措，以及由此引出的 OpenXR 相关内容，以及神木科技在本地化落地所做出的各项工作。
Snapdragon Spaces 开发指南（6）
weixin_38498942的博客
08-23 342
XR 代表了下一代如何与世界互动。该解决方案提供了与硬件无关的手部跟踪和手势识别软件平台，为最先进的 XR 沉浸式解决方案提供支持。提供准确、低延迟的第一人称 POV 手部跟踪识别一组常见的手势直接与板载摄像头和传感器集成支持不同的硬件和操作系统手部检测和跟踪手势识别（抓、捏、张开）可视化手部网格处理交互（光线投射、捕捉、虚拟力反馈）通过补偿自动触觉反馈（目标、选择、操纵）进行高级交互。
Snapdragon Spaces 开发指南（10）
weixin_38498942的博客
08-30 300
双渲染融合将智能手机设置为主显示器，同时将系留的 AR 耳机视为连接的辅助显示器。在此屏幕截图中，AR 显示器针对显示器 2 进行编辑器内测试，而在设备上，AR 显示器应针对显示器 1。这种双渲染功能能够将新的或现有的 2D 移动应用程序扩展到 3D 增强现实体验，而无需任何代码，因为其核心概念是将第二个游戏内摄像头添加到 2D 应用程序中，以充当扩展的 AR 显示器。
Snapdragon Spaces 开发指南（2）
weixin_38498942的博客
08-17 354
Snapdragon Spaces 定制启动器Snapdragon Spaces 当前的架构针对创建头戴式体验进行了优化，主要应用体验在耳机/眼镜中，由手部跟踪、硬件控制器或模拟控制器的触摸屏界面支持，后者被称为配套控制器，所有控制器都使用 OpenXR 配置文件进行通信。这种架构允许跨外形尺寸构建和运行某些应用程序，而无需重新编译。因此，了解幕后发生的事情的架构非常重要。自定义启动器。
Snapdragon Profiler v2019.3
12-30
7. **官方文档**：随软件提供的官方文档详细介绍了如何使用Snapdragon Profiler的所有功能，对新用户来说是一份宝贵的入门指南。 总的来说，Snapdragon Profiler v2019.3 是一款强大的开发工具，它为Unity3D开发者...
snapdragon 2020.4版本
01-12
Snapdragon是高通公司推出的一系列高性能移动处理器品牌，广泛应用于智能手机、平板电脑以及部分物联网设备。2020.4版本可能指的是该年度第四季度发布的一个更新或优化的芯片组版本。不过，由于信息有限，无法提供...
snapdragon profiler v2.2
04-22
Snapdragon Profiler是一款由高通公司为基于Snapdragon处理器的设备设计的专业性能分析工具，主要用于优化应用程序在这些设备上的运行效果。v2.2版本带来了更先进的功能和改进，以帮助开发者更好地理解和优化他们的...
snapdragon-600e doc
03-23
为了帮助OEM厂商和开发者快速进入市场，Snapdragon 600E处理器提供了一系列开发工具和支持服务。这些包括但不限于： - **开发套件**：包含必要的硬件和软件工具，帮助开发者快速启动项目。 - **系统级模块（SoM）**...
Snapdragon Spaces 开发指南（1）
weixin_38498942的博客
08-17 578
Snapdragon Spaces SDK开发者包可以从Snapdragon Spaces 开发者门户下载 （打开新窗口）。下载 Unity 或 Unreal Engine 的最新版本。申请Snapdragon Spaces Services。使用所选引擎制作的示例应用程序。Unity 软件包包含 Snapdragon Spaces Unity 软件包的 tarball。虚幻引擎包包含示例存档和虚幻引擎插件。SDK 下载中包含其他手势跟踪包。
Snapdragon Spaces 开发指南（12）
weixin_38498942的博客
08-30 319
Snapdragon Spaces Unreal Engine 插件可以在主机设备上启动应用程序时生成控制器。默认情况下，此功能在插件设置中启用，该设置位于编辑>项目设置>插件>Snapdragon Spaces下（通过单击齿轮）。如果需要具有不同外观和稍微不同功能的自定义实现，则可以按照自定义控制器部分中描述的步骤构建替代控制器存档。这些步骤生成的存档可以链接到项目设置中。必须启用使用自定义控制器开关（还需要启用在主机上启动控制器选项），以便可以选择备用控制器存档的路径。
Snapdragon Spaces 开发指南（8）
weixin_38498942的博客
08-24 276
如果立方体是红色的，则意味着保存的锚点没有被跟踪，如果它是白色的，则表示正在被跟踪。Spaces Hand 组件已被弃用，取而代之的是QCHT 包中的组件，并将在未来版本中删除。Spaces Hand Joint Visualizer 组件已被弃用，取而代之的是QCHT 包中的组件，并将在未来版本中删除。Spaces Hand Manager 组件已被弃用，取而代之的是QCHT 包中的组件，并将在未来版本中删除。Spaces Hand 组件已被弃用，取而代之的是QCHT 包中的组件，并将在未来版本中删除。
Snapdragon Spaces 开发指南（15）
weixin_38498942的博客
09-05 212
开发人员包中包含一个 Android Studio 项目，用于构建自定义控制器存档，该存档可以在以后使用，而不是 Snapdragon Spaces Unity 包或虚幻引擎插件中默认包含的控制器存档。要更改控制器的外观，请使用 Android Studio（建议使用 2020.3 或更高版本）打开项目，然后打开SpacesController > res > 布局 > custom_input_companion_controller.xml。位于 SpacesController > java >
车载信息服务软件开发包使用指南（15）
热门推荐
weixin_38498942的博客
01-16 1万+
车载信息服务软件开发包使用指南（15）
OpenCL优化案例研究 (4)
weixin_38498942的博客
05-27 1万+
OpenCL优化案例研究 （4）9.3 Sobel滤波9.3.1 算法优化9.3.2 数据包优化9.3.3 向量化加载/存储优化9.3.4 性能和总结9.4 总结 9.3 Sobel滤波 Sobel滤波，又称Sobel算子，被用于许多图像处理和计算机视觉算法的边缘检测。它使用两个3x3核与原始图像结合来近似求导数。有两个内核，一个是水平方向，另一个是垂直方向，如图9-7所示。 图9-7 Sobel滤波的双向操作 9.3.1 算法优化 Sobel滤波是一个可分离滤波，可以分解为: 图9-8 Sobel 滤
Qualcomm® AI Engine Direct 使用手册（1）
weixin_38498942的博客
12-21 3875
本文档提供 Qualcomm® AI Engine Direct 软件开发套件 (SDK) 的参考指南。笔记Qualcomm® AI Engine Direct 在源代码和文档中也称为 Qualcomm 神经网络 (QNN)。Qualcomm® AI Engine Direct 是 Qualcomm Technologies Inc. (QTI) 用于 AI/ML 用例的软件架构 关于 QTI 芯片组和 AI 加速核心。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值