【VR串流】基于SteamVR的串流方式，在Pico设备上接入MRTK的手势

最新推荐文章于 2025-01-21 11:56:47 发布
最新推荐文章于 2025-01-21 11:56:47 发布
阅读量1.8k 收藏 23
点赞数 19
分类专栏： 我的XR开发记录 # Pico MR实操分享 文章标签： unity 交互 vr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41140324/article/details/145155405
版权

Pico开发专栏，订阅+关注：

我的Pico MR开发笔记

基于SteamVR的串流方式，在Pico设备上接入MRTK的手势

相关文章

  • 开发调试时，使用LivePreviewPlugin工具可以基于串流能力在Unity编辑器Play后实时在眼镜端预览。

【Pico串流预览】使用“PICO Unity Live Preview Plugin”和PDC工具进行实时预览

SteamVR串流

引用 Pico基于Unity XR Interaction Toolkit开发SteamVR串流应用

SteamVR 宣布将开始逐渐过度到OpenXR，并且在1.21版本正式提供了支持。这个OpenXR是由多家公司统一制定的一套标准，在SteamVR支持OpenXR后只要直接开发OpenXR就能够任意使用XRI或者SteamVR plugin的交互方式了。
总之，对已经有一定熟练度的人来说咱这里直接一句话概括下解决方法：安装OpenXR plugin，在Project Setting的 XR Plugin Manager中勾选它，之后在OpenXR Tab中的Interaction Profiles 中添加Oculus Touch Controller并且去掉别的。

总结操作：

  • Unity中配置Open XR Plugin
  • 目标平台切换为Windows
  • XR Plugin Manager勾选“OpenXR”

注意：

  • 需要Windows安装Steam，Steam中下载安装SteamVR
  • Pico C端机最新版本需要安装“Pico互联”（Pico系统版本低于5.9，安装游戏串流助手），企业版本安装“企业互联”。

接入MRTK

题外话：MRTK3.0以后的版本基于Unity XRI，而SteamVR 1.21以后的版本也同样支持UnityXRI。

由于在一体机的开发方式中，已详细介绍了如何在Pico开发工程中导入MRTK3.0。

这里不再赘述。

程序打包与运行

程序配置与打包

  • MRTK手势交互示例场景
    在这里插入图片描述
  • 平台切换为OpenXR
    在这里插入图片描述
  • OpenXR配置
    在这里插入图片描述
  • 然后，build

程序运行

  • Pc端打开Pico互联，眼镜端启动Pico互联App

  • 运行打包后的EXE程序，会自动启动SteamVR
    在这里插入图片描述

运行截图

  • PC打包的EXE程序截图
    在这里插入图片描述
  • SteamVR运行界面截图
    在这里插入图片描述
  • 眼镜端截图
    在这里插入图片描述
【MR开发】在Pico设备上接入MRTK3（三）——在Unity中运行MRTK示例
一个AR程序猿的博客（EQ-雪梨蛋花汤）
10-18 1965
在Pico的Unity开发工程导入MRTK3
【VR】PICO 手部追踪 steamvr内无法识别，依旧识别手柄的解决方案
励志成为会前后端、运维、云服务、嵌入式开发、AI和自动化技术的创业小老板！
11-08 3063
尽管平放（或关闭手柄连接）之后，在 PICO 一体机中进入了手部追踪状态，但只要进入 steamvr，就无法正确识别到手势，steamvr 没有反应。
Unity3D Pico VR 手势识别物体交互 适配 MRTK3
Cool-浩
01-20 2932
版本说明Pico SDK 2.40 ,Pico OS v5.8.2 硬件Pico 4Unity2021.3.32f 版本Mixed Reality Feature Tool 版本v1.0.2209.0 PreviewUnity Pico VR适配 MRTK3 完整视频教程主要包含1 配置开发环境2 从零开始创建项目完成项目配置3 如何添加MRTK包体至Unity工程4 添加MRTK示例到项目5 修复MRTK报错脚本6 MRTK3适配PICO7 发布并安装到Pico。
MRTK3在PICO4上的使用小结
qq_40364278的博客
07-26 5996
将下载的压缩包解压后，打开UnityProjects-->MRTKDevTemplate-->Assets，将内部的Analyzers、Audio、BuildAssets、Editor、Example Assets、Prefabs、Profiles、Scenes和Scripts文件夹复制到Unity工程的Assets路径下。将下载的项目解压缩后，打开其Assets，将Scripts路径下的PicoMRTK3Support文件夹复制到Unity工程的Scripts路径下。设置资产选择默认的便可。
MRTK发布到android设备之2
weixin_44345862的博客
03-09 6719
上一篇研究了unity2019的发布方法，我们看到了自己下载JDK，填写路径等，且MRTK用的2.5.4比较老旧，ARcore和ARfoundation也是比较旧。今天用unity2020和比较新的MRTK来试一下，后来成功了。总结一句：山穷水覆疑无路，柳暗花明又一村， 踏破铁鞋无觅处，得来全不费工夫！ 这次用unity2020.3.18f1c1，新建工程切换到android平台然后导入MRTK2.7.2,ARcore和ARfoundation保持默认，如下。 接着就是MRTK菜单中场景的添加以及t
Pico串流SteamVR
qq_37619255的博客
04-03 7878
7、从steam启动非steam商店下载的游戏（和第六步作用是一样的，只是一个是从steam启动游戏，一个是从87VR游戏大厅启动游戏），开始游戏前两个平台都会启动steam VR。下载完成后，点击启动游戏，即可自动启动SteamVR并运行游戏。5、启动pico串流助手，按照指引连接。2、打开picoVR游戏大厅，下载pico串流助手。6、从87VR游戏大厅下载PCVR游戏并运行。也可在此处添加非87VR游戏大厅下载的游戏。添加完成后，在库里面找到，点击开始游戏。1、安装87VR助手和87VR游戏大厅。
[pico]vrtk_pico 功能集成安卓平台
—巨人绿
11-12 1700
unity版本 unity2019.3.6 描述 本项目演示了如何将VRTK场景与Pico VR SDK集成。如下图所示，在Assets-VRTK中已经使用PicoSDKv2.8.5配置了七个场景，供参考。 备注 请记住，指南必须按这个顺序执行。如果没有，那么集成就可能不像预期的那样。应该已经安装了VRTK，您需要访问该文件夹中的文件。它在Unity2019.3.6f1中进行了测试，并确认在该版本中可以工作。并不是所有的特性都可以实现。这些特性可以在提供的VRTK演示场景中找到。另外，..
MRTK3应用于PICO4体验包
01-25
下载体验便可 注意，PICO4设备OS版本5.7.1以上体验更佳。
【PICO4】PICO4串流，基于SteamVR关键问题解决
Mrcsdn001的博客
08-19 5708
PICO的技术成熟度已经可以满足使用无线串流方式实现steamVR开发的项目使用一体机来驱动，但是在使用过程中会有容易发生的问题，为防止后续发生，在此记录问题及解决方法。
【MR开发】在Pico设备上接入MRTK3（一）——在Unity工程中导入MRTK3依赖
一个AR程序猿的博客（EQ-雪梨蛋花汤）
10-18 2036
在Pico上接入MRTK3，目前已有大佬开源。也有值得推荐的文章。MRTK3在PICO4上的使用小结但由于在MacOS上使用MRTK3，无法通过工具管理MRTK3安装包。故记录一下完整的流程，仅作备忘。
PICO4无线串流（PICO互联）unity3D项目开发教程（适合新手小白）
apple_63713858的博客
01-21 477
最近在学习vr项目开发，但是网上找的教程几乎都是数据线（3.0usb）有线串流，也就是说，每次想要调试程序的时候，都得build and run,得等老长时间了┭┮﹏┭┮，大大降低了开发效率，因此我就想找无线串流的教程，但是似乎没有最新的（因为PICO互联更新了，似乎又和PICO streaming assistant 不一样）于是我记录一下新手小白PICO无线串流的步骤。如果还有不懂的，可以直接问gpt, 这里我记录的是gpt不知道的部分。
[PICO VR眼镜]眼动追踪串流Unity开发与使用方法，眼动追踪打包报错问题解决(Eye Tracking/手势跟踪)
Bartender_VA11的博客
09-14 4845
PICO VR虚拟现实眼镜 眼动追踪 眼动跟踪
【unity】Pico VR 开发笔记(基础篇)
发布unity，三维模型的相关内容
07-31 1万+
XR Interaction Tooikit 版本 2.3.2。
【Steam VR 2.0】3. Skeleton Poser 自定义抓取手势的使用
Endboil的博客
07-21 4883
Skeleton是Steam VR 2.0中，用来描述手部模型各个关节信息的，呃，可以说是数据类型。它会根据用户的设置，在抓取物体时，使手的模型，更加贴合待抓取物，增加沉浸感。 这是我制作的一个抓取球体的手势 我们可以利用skeleton pose来为每一个可抓取物，制作专属的抓取手势 1.利用Skeleton Poser 为自己的可抓取物制作专属的抓取手势 首先我们先创建一个空场景，并拖入VR预制体Player 然后随便拿一个模型，用来做测试（这里我拽了一根外星人的手指头来做测试） .
pico支持串流软件，比官方稳定，没有花屏现象，对机器配置要求低
rodzzj的博客
08-22 1033
3.pc端采用默认方式安装完后，进入设置，修改3个地方，1）加入防火墙策略。然后启动steam vr,可以看到左下角steamvr connected(表示已连接,不成功的话，是无法找到设置)，4.启动游戏开始玩耍吧。如果计算机配置低，可以把码率调到30以下。使用方法：在pc上和头盔上都安装上软件，并运行，在最新版5.9.2测试没问题。开源无费用，目前测试20.6.1可以正常无线串流，后发布都不行，好象有bug。2.头盔安装后在，未知来源里找到并启动,查看host和ip地址，并记下来。
VR——Pico OpenXR开发框架
qq_38374833的博客
10-19 2620
如遇安装过程异常：如果直接安装Pico OpenXR Plugin SDK后并没有自动安装OpenXR SDK(Unity原生)，则应卸载Pico OpenXR Plugin SDK，然后先安装OpenXR SDK(Unity原生)再安装Pico OpenXR Plugin SDK，否则项目依旧不支持PICO，没有进行相关链接。：分别向左右眼睛显示图像。一句话总结：把一个有透镜成像功能的显示器罩在眼睛上，人向哪里看，就在显示器里显示对应方向的景物画面，从而让人感觉自己身处一个无限大的虚拟空间中。
【Unity的HDRP渲染管线下用Steam VR串流结合使用遇到的各种问题_SteamVR 插件和Pico串流助手】
暴走约伯的博客
08-26 2274
当你启用"Mock Runtime"选项后，Unity将模拟一个虚拟的OpenXR运行时环境，并提供一些虚拟的设备和功能，让你能够进行开发和调试。在Unity中，SteamVR插件是一个由Valve提供的Unity插件，它允许开发者在Unity项目中集成SteamVR功能，以便支持SteamVR设备。OpenXR是一个跨平台的虚拟和增强现实（VR/AR）开发接口，它为开发者提供了一个统一的接口，用于访问不同VR/AR硬件设备和平台的功能。这个选项是用于模拟OpenXR运行时环境的功能。
新版SteamVR操作手册
热门推荐
Cool_Da的博客
03-20 1万+
Unity 简单VRDemo搭建 Unity环境搭建： PlayerSetting设置如下： 启动虚拟现实驱动，sdk选择OpenVR。HTC Vive只支持OpenVR。 Unity Input设置： 官方手册设置说明： https://docs.unity3d.com/Manual/OpenVRControllers.html 按照手册进行配置，左手菜单按钮设置为： 左手触摸板触摸位置...
unity使用XR插件开发SteamVR项目，异常问题解决方法
螞蟻的日常
06-25 843
1、导入XR Interaction Toolkit 案例场景资源（Starter Assets）3、预制体放在场景中需保留 Input Action Manager代码，如下图所示。2、开发场景中使用以下相机预制体。（二）、初步排查解决方式。
PICO串流手势捕获
最新发布
03-22
<think>好的，我现在需要帮助用户了解如何在PICO设备上实现串流手势捕获功能。首先，我得明确用户的需求，他们可能是在开发VR应用时希望不用有线连接，通过无线串流来捕获手势，这样调试起来更方便，提升效率。 根据用户提供的引用资料，特别是引用[3]中提到PICO串流到SteamVR后适配的是Oculus Quest2的手柄，这可能导致手势显示问题。这说明在实现手势捕获时，需要注意手柄的适配和可能的冲突，可能需要关闭某些协程来避免崩溃。 接下来，我应该考虑PICO设备的手势捕获通常需要哪些技术。一般来说，PICO设备可能使用内置的手势识别SDK，或者通过SteamVR插件来实现。但根据引用[3]，使用SteamVR时可能会有适配问题，所以可能需要结合PICO自己的SDK和串流技术。 然后，无线串流的设置步骤也很重要。引用[4]提到需要安装串流助手，并确保设备和PC在同一WiFi下。这可能涉及到网络配置和串流软件的设置，确保数据能够实时传输。 另外，引用[2]提到启用PICO Live Preview时需要禁用其他提供项，这可能意味着在开发过程中需要调整项目设置，避免冲突。同时，引用[1]的用户提到使用PICO互联进行无线串流，可能需要参考最新的官方文档，因为旧的教程可能已经过时。 综合这些信息，实现手势捕获的步骤可能包括：配置开发环境，集成手势识别SDK，处理串流中的适配问题，优化网络延迟，以及进行测试和调试。需要特别注意引用[3]中提到的协程问题，避免手势显示异常和编辑器崩溃。 可能还需要查阅PICO的官方开发文档，确认是否有专门的手势捕获API，或者是否支持通过Unity的XR插件来实现。同时，无线串流的稳定性对手势识别的实时性很重要，可能需要优化网络设置，比如使用5GHz频段减少延迟。 最后，用户可能需要示例代码或具体步骤来配置Unity项目，添加手势识别组件，并处理串流中的数据传输。测试时要注意手势的延迟和准确性，确保用户体验良好。此外，引用[3]中的解决方案提到修改Teleport脚本，关闭特定协程，这可能也是实现过程中的一个关键步骤。</think>### PICO设备串流手势捕获实现方案 #### 一、技术实现路径 1. **手势识别基础** PICO设备通过内置摄像头或传感器实现手势识别，需在Unity中集成$PICO\ SDK$的手势识别模块[^1]。建议使用$PICO\ Interaction\ SDK$的`HandTracking`组件，需在项目设置中启用`Hand Tracking Support`选项。 2. **串流环境配置** - 安装`PICO Streaming Assistant`和`PICO Live Preview`插件，确保设备与PC在同一局域网[^4]。 - 在Unity的`XR Plug-in Management`中禁用`Oculus`和`OpenXR`等冲突插件（参考引用[2][^2]）。 3. **代码实现示例** ```csharp using PICO.Platform; using PICO.HandTracking; public class GestureStreamer : MonoBehaviour { void Update() { var leftHand = HandTracking.GetHand(HandType.Left); if (leftHand.IsValid) { Vector3[] jointPositions = leftHand.GetJointPositions(); // 通过UDP/WebSocket发送数据到PC端 } } } ``` #### 二、关键问题处理 1. **手柄适配冲突** 若同时使用SteamVR，需修改`Teleport`脚本中的协程逻辑（引用[3][^3]）： ```csharp // 注释掉引发Quest2手柄冲突的代码 // StartCoroutine(TeleportHintCoroutine()); ``` 2. **延迟优化** - 使用5GHz Wi-Fi网络，确保带宽>80Mbps - 在`PICO Streaming Assistant`中设置编码分辨率为$1920\times1920$，码率$30Mbps$ #### 三、开发文档指引 1. 官方资源： - [PICO手势开发文档](https://developer.pico-interactive.com/docs/hand-tracking) - [Unity串流配置指南](https://developer.pico-interactive.com/docs/unity-streaming)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EQ-雪梨蛋花汤

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值