Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）

已于 2023-10-08 18:18:11 修改
阅读量1w 收藏 59
点赞数 10
分类专栏： Hololen 2 文章标签： 自动驾驶
于 2021-04-01 12:27:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scy261983626/article/details/115255799
版权

文章目录

Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）

前言

HoloLen2 设备内集成了多种不同类型的传感器。软件上也提供了研究者模式，便于开发者们访问传感器的原始数据，进行科研开发。
但是由于设备较新，其官方文档并没有过多的介绍这部分的内容.旧的Hololens1代码又不能直接用在新的Hololens2 上， 官方的github工程也较少，大都只停留在真机上可以获取数据而已。
本文的配置将实现把设备上的图像数据通过wifi实时地传递到电脑端，方便用深度学习算法对图像进行处理。
PS 这个工程是github上的， 目前仍然达不到实时传输的效果，延迟很高，尚未解决。但是可以在线获得图像数据便是。

基础环境

  1. WIN10 专业版
  2. VS2019社区版
  3. Unity2019.3.4版本
  4. WIN SDK 最新
  5. HoloLens2处于研究者模式(见我另外一篇博客)
  6. 参考出处
  7. 关掉两边的防火墙

配置过程

下载github上的工程

地址传送门

编译 HoloLens2-Unity-ResearchModeStreamer

  1. 用VS打开该项目中插件工程
    在这里插入图片描述
  2. 设置项目属性为release 和arm64
    在这里插入图片描述
  3. 生成解决方案
    在这里插入图片描述
    在这里插入图片描述

配置Unity项目

  1. 新建一个Unity的3D项目
  2. 将项目切换到Universal windows patform
  3. 新建如下路径"Assets/Plugins/"
  4. 将前面编译好的文件拷贝到新建的文件夹下
    文件位置在这里插入图片描述
    拷贝过去后在这里插入图片描述
  5. 新建一个StreamerHL2.cs（名称注意一致，或者自己在代码中对应修改类名称&#
最低0.47元/天 解锁文章
Hello,Lance
关注
  • 10
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 74
    评论
专栏目录
HoloLensCameraStream：此Unity插件可将HoloLens摄像机帧实时提供给Unity应用。 这使Unity开发人员可以轻松地将HoloLens相机用于计算机视觉（或他们想要的任何东西）
02-06
HoloLensCameraStream for Unity 该Unity插件可将HoloLens摄像机帧实时提供给Unity应用。 这使Unity开发人员可以轻松地将HoloLens相机用于计算机视觉（或他们想要的任何东西）。 如果您需要访问Unity中HoloLens相机的帧缓冲区（包括可 ，请使用此选项。 有了这个插件，您可以 实时在框架上进行计算机视觉和机器学习。 （不包括算法） 显示HoloLens相机所见内容的预览。 从HoloLens摄像机获取给定图像像素坐标的3D坐标。 例如，您可以使用计算机视觉识别一本书，然后在该书的顶部进行渲染。 入门 以下教程将向您展示如何构建插
利用HoloLens2-Unity-ResearchModeStreamer获取Hololens2头盔彩色（以及深度）相机数据流
最新发布
weixin_45318827的博客
06-12 874
一：1.参考文章3.项目整理：ResearchModeStreamer3：只有彩色以及深度数据流的实验项目ResearchModeStreamer2：自己论文的项目，包含了彩色的数据流以及接收文本数 据、播放音频的版本。二：Hololens2头盔设置方法1.在头盔内->设置->更新于安全->开发者选项 其中开启开发者模式2.通过电脑连接 http://头盔IP地址 在其中开启研究者模式参考三：1.下载原项目，用VS2019打开设置。
Hololens2初入——解决HL真机到PC图像传输的实时性问题
scy261983626的博客
05-03 3488
文章目录Hololens2初入——解决HL真机到PC图像传输的实时性问题引言正文解决方案具体方案示例动图原工程的一个小问题 Hololens2初入——解决HL真机到PC图像传输的实时性问题 引言 在我的博客Hololens2 初入——获取彩色和深度图像数据流，并传递到程序中（不是网页浏览）中介绍了如何通过无线传输的方式，将HoloLens2中的前景彩色图像和深度图像传输到PC端，并通过python的脚本进行接收。 这部分功能的实现来自一个大佬github工程。但是在之前，一直存在着图像传输延时性太高的问题。
HoloLens2的彩色和深度数据流通过主机获取
极客园地
09-26 2163
关于HoloLens 2设备提供了研究者模式，便于开发者访问传感器的原始数据，进行科研开发，本博客根据github项目在线获得图像数据，但是目前达不到实时传输的效果，延迟很高，期望以后的深入学习可以解决。
【捕获一张Hololens实时画面传送到电脑端用Python接收】
weixin_44338714的博客
04-14 1283
开发环境：Hololens2 + unity2020.3 +vs2019+python3.8最近一直在研究如何让hololens与电脑通信，查阅资料发现使用Socket可以实现通信。让hololens与电脑通信，其实就是做到让unity和电脑通信，然后根据需求开发hololens端的UI即可。项目流程大概是在unity中编写C#脚本捕获和发送图片，电脑端用python接收图片并保存。
Hololens 2应用开发系列（4）——MRTK基础知识及配置文件配置（下）
YR的博客
03-18 996
本文中，我将对MRTK的配置文件/配置面板剩余部分进行讲解，它们分别是：边界系统（Boundary）、传送系统（Teleport）、空间感知系统（Spatial Awareness）、诊断系统（Diagnostics）、场景系统（Scene System）、扩展（Extensions） 和编辑器（Editor）
Unity Hololens2开发|（四）实时画面电脑预览（2种方法）
热门推荐
游戏开发小Y的博客
10-20 5万+
打开浏览器在搜索栏输入Hololens2 IP地址。如果出现安全问题拒绝访问，点开下面的更多信息然后进入，输入usrname、password。获取Hololens2 IP地址，打开Hololens2的Holographic Remoting Player 可以得到IP。如果不成功，请到Hololos设备里设置->更新和安全->开发人员模式是否打开。-依次 查看->混合现实捕获->实时预览 点开即可看到Hololens画面。
主机端实时获取Hololens2的RGBD数据流
AplusX
03-27 2568
0. 环境配置 Windows10 Unity 2020.3.31f1c1 VS2019 Python3.6 本文主要参考并根据自己的习惯稍做调整： https://blog.csdn.net/scy261983626/article/details/115255799 1. 下载Github工程 HoloLens2-Unity-ResearchModeStreamer 2. 配置VS环境 Release+ARM64 工程项目中Eigen库好像没有用到，可以注释掉 lib库里放了Opencv4
HoloLens2场景理解,识别平面信息
shaowei213的专栏
04-21 1564
HoloLens2场景理解,识别平面信息
HoloLens2-Machine-Learning:直接在HoloLens 2上使用深度学习模型进行图像分类
05-26
已在Unity 2019.4 LTS，Visual Studio 2019和HoloLens 2中进行测试 Rene Schulte的示例构建 输入大小为(224, 224)视频帧以进行在线推断 EfficientNetB0框架的预先训练过的TensorFlow-Keras实现被直接转换为ONNX格式...
微软新出的HoloLens 2将配备同级别的深度传感器
01-20
在 Build Day 1 开发者大会上，微软展示了一款...　在领英（ LinkedIn ）上， Alex Kipman 还证实了一件事 —— 第四代 Kinect 传感器，将出现在 Hololens 2 上。 该传感器的特性如下： 　● 更高的像素（分辨率 1024
Hololens2入门
03-07
"HoloLens 2入门" HoloLens 2是一款基于混合现实（Mixed Reality，MR）的智能头戴式设备，为用户提供了沉浸式的交互体验。它可以将数字世界与物理环境融合在一起，使用户可以在视觉和听觉上都像是身处其中的一部分...
HoloLens2ForCV:使用Microsoft HoloLens 2进行计算机视觉研究的示例代码和文档
04-12
HoloLens 2研究模式可访问设备（深度摄像头，灰度摄像头，IMU）上的原始流。 通过发布研究模式API以及一系列工具和示例应用程序，我们希望更轻松地将HoloLens 2用作功能强大的计算机视觉和机器人技术研究设备。 该...
Hololens2基础开发工程文件
02-01
《HoloLens2基础开发工程文件详解》 在探索混合现实技术的广阔天地时，HoloLens2无疑是最前沿...只有深入理解并灵活运用这些工具，才能在HoloLens2的开发世界中游刃有余，创造出更多富有创新和趣味性的混合现实体验。
电脑桌面画面实时传输到手机端或者HoloLens上显示（基于FMETP STREAM）
dong89801033的博客
01-22 2878
电脑桌面画面实时传输到手机端或者HoloLens上显示（基于FMETP STREAM） 最近在研究HoloLens，突发奇想在HoloLens上显示电脑画面，便做了各种尝试，使用过微软的Mirage，功能强大，相当于扩展屏幕，但是UWP应用不能打开多个，不能满足我的需求。最终在Unity商城找到了FMETP STREAM这款插件，使用它可以将桌面画面传输到HTML网页显示，在HoloLens上使用时也可以打开其他UWP应用，除了有延迟，其他效果完全满足我的需求。步骤可以参考 Unity3d游戏画面实时同步h
HoloLens开发：2D APP获取头部位姿信息
friendbaby的专栏
04-15 1204
原文地址：http://www.jantime.com/2019/04/15/hololens开发%ef%bc%9a2d-app获取头部位姿信息/ 近日在项目上遇到一个需求：使用HoloLens采集RGBD和位姿信息，用于深度学习计算。后面的深度学习不用管，只需负责产生数据即可。把数据拆开来看，分三部分：RGB影像、Depth数据和相机(头部，暂忽略相机和头部之间的偏移)位置姿态。 采集RGB...
HoloLens2开发笔记-使用UWP原生MediaCapture解决图像捕获与WebRTC视频流冲突问题
Apple_Coco的博客
05-09 2770
文章目录前言关键代码代码中的不足 前言 真的太开心了，查阅了很多文档终于解决了这个问题。 事情的起因是由于我在项目中使用了 MixedReality-WebRTC 库实现与 Web 端的实时音视频通讯，同时呢，还在项目中使用了 Unity 封装好的 Windows API 实现图像捕获功能（详情可看：Hololens2开发笔记-捕获照片到内存并上传至服务器 这篇文章），并将图像数据上传到云端。在实践的过程中就出现了问题了，它俩居然是冲突的 emmmm 当 HoloLens2 在和 Web 端进行实时音视频通
unity开发hololens2 如何获取手指数据
05-27
获取Hololens 2手指数据需要使用手势识别API。以下是获取手指数据的步骤： 1. 在Unity中创建一个新的3D场景，并添加Hololens手势识别组件。 2. 启用手势识别组件，并将手势识别模式设置为手指。 3. 创建一个脚本来处理手势识别事件，并在其中实现获取手指数据的逻辑。 4. 在手势识别事件中，使用手势识别API获取手指数据，并将其保存在变量中以供后续使用。 5. 使用获取的手指数据来控制Hololens 2中的应用程序，并与用户进行交互。 需要注意的是，获取手指数据需要在Hololens 2设备上进行测试，因为手势识别API只在Hololens 2设备上可用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 74
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值