HoloLens2的彩色和深度数据流通过主机获取

已于 2023-01-29 14:44:57 修改
阅读量1.9k 收藏 12
点赞数 1
分类专栏： ━═━═━◥ MR ◤━═━═━ Unity 文章标签： unity 游戏引擎
于 2022-09-26 21:35:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Prototype___/article/details/127058495
版权

关于HoloLens 2设备提供了研究者模式，便于开发者访问传感器的原始数据，进行科研开发，本博客根据github项目在线获得图像数据，但是目前达不到实时传输的效果，延迟很高，期望以后的深入学习可以解决。

文章目录

一、实验准备

1、实验条件

  • Windows 10 SDK 10.0.18362.0
  • HoloLens 2 设备
  • Unity 2020.3.31f1c1配置好MRTK混合现实开发包
  • Visual Studio 2019
  • Python3.9（opencv-python）

2、下载Github工程

HoloLens2-Unity-ResearchModeStreamer

3、打开HoloLens 2研究者模式

二、配置过程

1、配置VS环境

设置项目属性为release 和ARM64

Release+ARM64

在这里插入图片描述

2、注释工程项目中Eigen库

在这里插入图片描述

2、生成解决方案

在这里插入图片描述
在这里插入图片描述

3、更换Lib库

lib库里放了Opencv4.X的库，根据需要把附加依赖项直接换成opencv_world341.lib，这个文件包括项目所需所有lib
在这里插入图片描述

三、配置Unity项目

1、新建Unity的3D项目

在这里插入图片描述

2、将项目切换到Universal windows patform平台

在这里插入图片描述

3、新建路径

在这里插入图片描述

4、将前面编译好的文件拷贝到新建的Plugins文件夹下

E → HoloLens2-Unity-ResearchModeStreamer-master → HL2RmStreamUnityPlugin → ARM64 → Release → HL2RmStreamUnityPlugin

5、新建一个StreamerHL2.cs

复制下面代码到脚本里面
在这里插入图片描述

在这里插入代码片

6、将脚本随便挂在在一个对象上，我挂载的是主相机

在这里插入图片描述

7、设置Unity 项目的兼容性

勾选
InternetClient, InternetClientServer, PrivateNetworkClientServer, WebCam, SpatialPerception 5个位置
在这里插入图片描述

8、编译unity工程

在这里插入图片描述

9、配置package文件中的兼容性

在这里插入图片描述

10、将如下字段添加到 Package 中

xmlns:rescap="http://schemas.microsoft.com/appx/manifest/foundation/windows10/restrictedcapabilities"

在这里插入图片描述

11、在Package这一行中,找到"IgnorableNamespaces"的属性，添加“rescap”字段

在这里插入图片描述

12、在 Capabilityes添加如下字段

<rescap:Capability Name="perceptionSensorsExperimental" />

在这里插入图片描述
Package.appxmanifest文件全揽，RMSTest可更换文件名

<?xml version="1.0" encoding="utf-8"?>
<Package xmlns:rescap="http://schemas.microsoft.com/appx/manifest/foundation/windows10/restrictedcapabilities" xmlns:mp="http://schemas.microsoft.com/appx/2014/phone/manifest" xmlns:uap="http://schemas.microsoft.com/appx/manifest/uap/windows10" xmlns:uap2="http://schemas.microsoft.com/appx/manifest/uap/windows10/2" xmlns:uap3="http://schemas.microsoft.com/appx/manifest/uap/windows10/3" xmlns:uap4="http://schemas.microsoft.com/appx/manifest/uap/windows10/4" xmlns:iot="http://schemas.microsoft.com/appx/manifest/iot/windows10" xmlns:mobile="http://schemas.microsoft.com/appx/manifest/mobile/windows10" IgnorableNamespaces="uap uap2 uap3 uap4 mp mobile iot rescap" xmlns="http://schemas.microsoft.com/appx/manifest/foundation/windows10">
  <Identity Name="Template3D" Publisher="CN=DefaultCompany" Version="1.0.0.0" />
  <mp:PhoneIdentity PhoneProductId="edd907fa-2c4f-49b2-89a0-9fa371043c33" PhonePublisherId="00000000-0000-0000-0000-000000000000" />
  <Properties>
    <DisplayName>RMSTest</DisplayName>
    <PublisherDisplayName>DefaultCompany</PublisherDisplayName>
    <Logo>Assets\StoreLogo.png</Logo>
  </Properties>
  <Dependencies>
    <TargetDeviceFamily Name="Windows.Universal" MinVersion="10.0.10240.0" MaxVersionTested="10.0.19041.0" />
  </Dependencies>
  <Resources>
    <Resource Language="x-generate" />
  </Resources>
  <Applications>
    <Application Id="App" Executable="$targetnametoken$.exe" EntryPoint="Template3D.App">
      <uap:VisualElements DisplayName="RMSTest" Square150x150Logo="Assets\Square150x150Logo.png" Square44x44Logo="Assets\Square44x44Logo.png" Description="Template_3D" BackgroundColor="transparent">
        <uap:DefaultTile ShortName="RMSTest" Wide310x150Logo="Assets\Wide310x150Logo.png" />
        <uap:SplashScreen Image="Assets\SplashScreen.png" BackgroundColor="#FFFFFF" />
        <uap:InitialRotationPreference>
          <uap:Rotation Preference="landscape" />
          <uap:Rotation Preference="landscapeFlipped" />
          <uap:Rotation Preference="portrait" />
          <uap:Rotation Preference="portraitFlipped" />
        </uap:InitialRotationPreference>
      </uap:VisualElements>
    </Application>
  </Applications>
  <Capabilities>
	<rescap:Capability Name="perceptionSensorsExperimental" />
    <Capability Name="internetClient" />
    <Capability Name="internetClientServer" />
    <Capability Name="privateNetworkClientServer" />
    <uap2:Capability Name="spatialPerception" />
    <DeviceCapability Name="webcam" />
  </Capabilities>
</Package>

四、VS编译与部署

1、打开下载好的github工程中的hololens2_simpleclient.py文件

E: → HoloLens2-Unity-ResearchModeStreamer-master → py

2、修改局域网IP

在这里插入图片描述

五、连接运行

1、将PC与HoloLens 2连接至同一局域网

2、vs部署HoloLens 2项目

D→MixedRealityLearning→RMSTest→build

3、选择项目配置

在项目属性页Release和ARM64下，选择调试，计算机名为HoloLens的IP
在这里插入图片描述

4、部署到HoloLens 2上

打开APP

5、运行hololens2_simpleclient.py文件

在这里插入图片描述

6、查看结果

（1）HoloLens 2彩色数据流
在这里插入图片描述
（2）HoloLens 2深度数据流
在这里插入图片描述

极客范儿
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
Unity Hololens2开发|（四）实时画面电脑预览（2种方法）
游戏开发小Y的博客
10-20 4万+
打开浏览器在搜索栏输入Hololens2 IP地址。如果出现安全问题拒绝访问，点开下面的更多信息然后进入，输入usrname、password。获取Hololens2 IP地址，打开Hololens2的Holographic Remoting Player 可以得到IP。如果不成功，请到Hololos设备里设置->更新和安全->开发人员模式是否打开。-依次 查看->混合现实捕获->实时预览 点开即可看到Hololens画面。
使用HoloLens 2调用深度相机和前置摄像头
极客园地
09-20 1789
实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。
HoloLens2-Machine-Learning:直接在HoloLens 2上使用深度学习模型进行图像分类
05-26
HoloLens-2-机器学习 使用在ImageNet 1000类数据集中训练的EfficientNetB0模型进行图像分类。 使用其板载CPU在HoloLens 2上直接运行模型推断。 关于 已在Unity 2019.4 LTS，Visual Studio 2019和HoloLens 2中进行测试 Rene Schulte的示例构建 输入大小为(224, 224)视频帧以进行在线推断 EfficientNetB0框架的预先训练过的TensorFlow-Keras实现被直接转换为ONNX格式以供本示例使用 运行样本 在Unity中打开示例 将构建平台切换到Universal Windows Platform ，选择HoloLens作为目标设备，并选择ARM64作为目标平台 生成Visual Studio项目并打开.sln文件 将onnx-models\model.onnx文件复制到Buil
hololens2调用深度相机和前置摄像头
qq_37350725的博客
08-04 1308
下载 microsoft/HoloLens2ForCV: Sample code and documentation for using the Microsoft HoloLens 2 for Computer Vision research. (github.com) 此为官方demo 部署 参考 Hololens2初入——调用深度相机和前置摄像头的Demo_scy261983626的博客-CSDN博客 Hololens2初入——解决HL真机到PC图像传输的实时性问题_scy261983626的博客
Microsoft HoloLens 技术解谜（上）
weixin_33896069的博客
05-02 291
HoloLens 是什么？ HoloLens 是微软发布的可穿戴式增强现实计算设备，它拥有这么几个关键要素： 它是增强现实产品，即 Augmented Reality（AR），AR 技术将计算机生成的图像与真实的世界相叠加。类似的产品有图像投射到视网膜上的 Google Glass，以及叠加在手机摄像头画面上的手机 AR 应用。 它拥有是独立的计算单元，自带 CPU ＋ GPU ＋ ...
【Hololens2+Unity】获取RGB相机空间矩阵
梅思源的LOG
02-13 373
解决hololens在unity中无法获取准确的RGB相机空间矩阵的问题
Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）
scy261983626的博客
04-01 9809
文章目录Hololens2 初入——获取彩色和深度图像数据实时传递到电脑端前言基础环境配置过程下载github上的工程编译 HoloLens2-Unity-ResearchModeStreamer配置Unity项目 Hololens2 初入——获取彩色和深度图像数据实时传递到电脑端 前言 HoloLen2 设备内集成了多种不同类型的传感器。软件上也提供了研究者模式，便于开发者们访问传感器的原始数据，进行科研开发。 但是由于设备较新，其官方文档并没有过多的介绍这部分的内容.旧的Hololens1代码又不能直接
主机端实时获取Hololens2的RGBD数据流
AplusX
03-27 2358
0. 环境配置 Windows10 Unity 2020.3.31f1c1 VS2019 Python3.6 本文主要参考并根据自己的习惯稍做调整： https://blog.csdn.net/scy261983626/article/details/115255799 1. 下载Github工程 HoloLens2-Unity-ResearchModeStreamer 2. 配置VS环境 Release+ARM64 工程项目中Eigen库好像没有用到，可以注释掉 lib库里放了Opencv4
【Unity+HoloLens2】从0开始在HoloLens2部署MR工程
fmxs
08-06 3656
HoloLens2部署的权威教程在微软的官方文档中，但有些问题其实官方文档并没有列出，所以在实际开发过程中如果遇到bug，就需要自身或者前人的经验去解决。比如：对于Hololens2来说，在VS中需选择ARM64而不是x86。部署需要有良好的网速；工程打包出来的文件路径和工程路径有关联，如果这两个路径不匹配，部署就会失败。部署后打不开可能是因为Unity中未添加需要部署的场景，在Build Settings中点击Add open Scenes。...
HoloLens环境配置的详细介绍，遇到的坑和解决方案
qq_39503991的博客
07-13 2401
HoloLens环境配置的详细介绍，遇到的坑和解决方案 一、作者有话说 首先，很抱歉拖了这么久才更新，虽然我没什么访问量，但之前说过要继续谈谈HoloLens的环境配置的问题，这一拖就是半个多月，不过我今天在这里保证，以后我会尽量周更（虽然可能没多少人看），当然可能有时候会太忙没时间更新，我会在之后补上，每个月要不下于发表五篇文章。好了不废话了。下面开始正式的讲解！ 二、环境配置的基本流程和部分坑...
Hololens2基础开发工程文件
02-01
HoloLens2基础开发的工程文件，包含手势，语音，空间映射等功能。
混合现实HoloLens2设计开发指南.pdf
01-06
HoloLens 2 提供最舒适的沉浸式混合现实体验，其行业领先的解决方案可以在数分钟内让用户感受到它的价值。 这一切由 Microsoft 推出的云和 AI 服务所特有的可靠性、安全性和可伸缩性提供坚实支持。 HoloLens 2 Development Edition 提供的套餐将 HoloLens 2 与免费试用版 Unity 软件以及适用于云服务的 Azure 信用额度组 合在一起，帮助你快速启动混合现实计划。
微软新出的HoloLens 2将配备同级别的深度传感器
01-20
在 Build Day 1 开发者大会上，微软展示了一款...　在领英（ LinkedIn ）上， Alex Kipman 还证实了一件事 —— 第四代 Kinect 传感器，将出现在 Hololens 2 上。 该传感器的特性如下： 　● 更高的像素（分辨率 1024
Hololens2入门
03-07
Hololens2入门
新兴游戏引擎Godot vs. 主流游戏引擎Unity和虚幻引擎，以及版本控制工具Perforce Helix Core如何与其高效集成
weixin_49715102的博客
04-26 1766
游戏行业出现一个新生事物——Godot，一个免费且开源的2D和3D游戏引擎。曾经由Unity和虚幻引擎（Unreal Engine）等巨头主导的领域如今迎来了竞争对手。随着最近“独特”定价模式的变化，越来越多的独立开发者和小型开发团队倾向于选择Godot作为他们的首选游戏引擎。本文，我们将跟随游戏和媒体娱乐方面的技术推广专家Ryan一起，深入了解Godot引擎的功能和局限性，探讨Godot与主流游戏引擎Unity和虚幻引擎的不同之处，以及这些游戏引擎为何高度依赖于版本控制系统——。
node-v9.6.0-x86.msi
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Python基于机器学习的分布式系统故障诊断系统源代码，分布式系统的故障数据进行分析，设计故障诊断模型，高效地分析并识别故障类别
04-29
基于技术手段（包括但不限于机器学习、深度学习等技术）对分布式系统的故障数据进行分析，设计故障诊断模型，高效地分析并识别故障类别，实现分布式系统故障运维的智能化，快速恢复故障的同时大大降低分布式系统运维工作的难度，减少运维对人力资源的消耗。在分布式系统中某个节点发生故障时，故障会沿着分布式系统的拓扑结构进行传播，造成自身节点及其邻接节点相关的KPI指标和发生大量日志异常
JavaScript前端开发的核心语言前端开发的核心语言
最新发布
04-29
javascript 当今互联网时代，JavaScript已经成为了前端开发的核心语言它是一种高级程序设计语言，通常用于网页的交互和动态效果的实现。JavaScript的灵活性以及广泛的使用使得它变得异常重要，能够为用户带来更好的用户体验。 JavaScript的特点之一是它的轻量级，它可以在网页中运行无需单独的编译或下载。这意味着网页可以更快地加载并且用户无需安装额外的软件才能运行网页上的JavaScript代码。此外，与HTML和CSS紧密结合，可以直接在HTML文档中嵌入，使得网页的开发变得非常便捷。 JavaScript具有动态性，它可以在浏览器中实时修改页面内容和样。它可以通过操作DOM（文档对象模型来动态地修改网页的结构和布局，并且可以根据用户的行为实时地响应各种事件，如点击、标悬停、滚动等。这使得开发者可以轻松地为网页添加交互性和动态效果，提供更好的用户体验。 JavaScript也是一种面向对象的语言。它支持对象、类、继承、多态等面向对象编程的概念，使得代码结构更加清晰和可维护。开发者可以创建自定义的对象和方法，对功能进行封装和复用，提高代码的可读性和可维护性。
四则运算自动生成程序安装包
04-29
四则运算自动生成程序安装包
unity开发hololens2 如何获取手指坐标数据
05-27
在Unity中，可以使用Hololens2的手势识别API来获取手指坐标数据。首先需要在Unity中导入Microsoft.MixedReality.Toolkit插件，然后在场景中添加HandTrackingInputSource组件。接着在脚本中使用HandJointUtils类来获取手指的坐标数据。 以下是一个示例代码，可以获取Hololens2手指的坐标数据： ``` using UnityEngine; using Microsoft.MixedReality.Toolkit.Input; public class HandTrackingExample : MonoBehaviour { private IMixedRealityHand hand; void Start() { hand = GetComponent<IMixedRealityHand>(); } void Update() { if(hand != null) { for(int i = 0; i < hand.Joints.Count; i++) { Debug.Log("Joint " + i + " position: " + hand.Joints[i].Transform.position); } } } } ``` 这个代码会在控制台上输出每个手指关节的坐标位置。你可以根据需要修改代码，来获取你所需要的手指坐标数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客范儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值