使用HoloLens 2调用深度相机和前置摄像头

已于 2022-09-20 12:15:50 修改
阅读量1.9k 收藏 14
点赞数 2
分类专栏： Unity ━═━═━◥ MR ◤━═━═━ 文章标签： hololens
于 2022-09-20 08:40:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Prototype___/article/details/126942100
版权

实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。

文章目录

一、平台环境

1、PC环境

  • 系统版本：Windows 10 SDK 10.0.18362.0
  • Visual Studio 版本 ：Visual Studio 2019 16.11.18
  • MRTK版本：2.7
  • Unity版本：2019.3.11
  • 开发者模式

2、HoloLens 2环境

  • 开发者模式
  • 打开研究者模式(Research mode)

在这里插入图片描述

二、工程展开

1、下载工程

在GitHub官方例程下载数据

2、解压文件

Docs是指南，Samples是代码示例

3、生成文件

HoloLens2ForCV-main -> Samples -> SensorVisualization找到SensorVisualization.sln文件，选择 Debug模式和ARM64的架构，然后生成（Build）
在这里插入图片描述

4、通过 USB 构建和部署，请选择设备(Device)

在这里插入图片描述

5、调试程序开始部署

在HoloLens 2上启动 SensorVisualization 应用，显示可视化传感器

在这里插入图片描述

三、总结

这个示例是一个全息UWP应用程序，演示了在设备上实时可视化传感器流。它显示了来自两个前头部跟踪摄像头的帧的可视化，深度和AB帧的深度摄像头，以及IMU加速度的可视化为3d坐标系的长度。

极客范儿
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
HoloLens2ForCV:使用Microsoft HoloLens 2进行计算机视觉研究的示例代码和文档
04-12
目的 HoloLens 2研究模式可访问设备（深度摄像头，灰度摄像头，IMU）上的原始流。 通过发布研究模式API以及一系列工具和示例应用程序，我们希望更轻松地将HoloLens 2用作功能强大的计算机视觉和机器人技术研究设备。 该项目在ECCV 2020上启动。我们计划随着时间的推移扩展该项目，并欢迎研究界的贡献。 内容 该存储库包含有关HoloLens 2研究模式的文档和示例。 查看以熟悉新的HoloLens 2研究模式API。 查看的以获取有关“研究模式”及其主要功能的详细信息，阅读有关如何设置设备的信息，并了解如何使用此存储库中的应用程序。 查看此，以了解研究模式。 该存储库包含四个示例应用程序： 显示设备上实时显示的深度和灰度摄像机坐标系的可视化。 显示了如何处理设备上实时存在的研究模式流：它使用OpenCV检测两个前置灰度摄像机中的arUco标记并对检测进行三角
Hololens2-OpenXR开发（四）-坐标系同步
AplusX
03-11 4034
Coordinate System Synchronization with Holographic Remoting and the OpenXR API 本文是根据官方示例的学习笔记 https://docs.microsoft.com/en-us/windows/mixed-reality/develop/native/holographic-remoting-coordinate-system-synchronization-openxr 为了结合计算机视觉相关任务，统一眼镜端坐标系和渲染的虚拟
HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理
scy261983626的博客
04-14 2865
文章目录HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理引言基础环境配置流程录制数据并导入到电脑端Python 处理数据转换图片格式保存为点云 HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理 引言 倒腾这个工程的目的其实只是为了学习如何将depth图片和彩色图像对齐。因为我实际的需求是在线处理，如何在线获得相关数据已经在博客的另外一篇进行了说明。 这边其实是介绍一下官方的工程如何使用。 基础环境 软件环境见博客其它文章 官方工程
HoloLens2 Visible-Light Tracking Camera (VLC) 内参获取
皮皮#2500
01-06 1183
HoloLens2 Visible-Light Tracking Camera (VLC) Intrinsics HoloLens2 灰度相机相机内参获取
2021-08-05
qq_28588941的博客
08-05 196
Hololens2获取IMU数据和图像数据目录写在前面开发环境使用方法代码链接 目录 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 写在前面 在经历了几周的不断探索，在两位前辈HoloLens2-ResearchMode-UnityPlugin和HoloLens2-Unity-ResearchModeStreamer的基础上成功的将Hololens2的IMU、RGB、深度相机的数
Hololens2开发笔记-研究模式API文档翻译
Apple_Coco的博客
03-07 2406
文章目录综述大纲主传感器读取循环传感器类型相机传感器惯性传感器传感器坐标帧传感器传感器帧VLC帧载荷AHAT和长抛摄像机帧载荷长抛失效AHAT无效IMU帧载荷同意提示设置要求清单条目API参考设备接口传感器接口传感器帧同意接口 综述 第一代 HoloLens 引入了研究模式，研究不用于部署访问设备上的关键传感器的应用程序。HoloLens2 的研究模式保留了 HoloLens1 的功能，增加了对额外流的访问。同样，对于第一个版本，可以从以下输入中收集数据: 可见光环境跟踪摄像机-系统用于头部跟踪和地图创建
【Hololens2目标检测】YoloDetectionHoloLens-Unity项目发布记录
weixin_44338714的博客
04-17 2040
这是一个使用Hololens进行目标检测的项目。Hololens端负责采集和显示，电脑端处理图像，并标注，将标注框传回Holo端进行显示。具体的项目发布流程，在项目中都有介绍，这篇文章主要记录一下作者没有提到的具体步骤和我在发布过程中遇到的错误，和解决方案。
HoloLens中的视觉SLAM介绍
qq_33511693的博客
01-03 4186
HoloLens是微软在2015年1月22日凌晨发布的一款头戴式的便携全息计算机设备。不同于VR眼镜，HoloLens直接在现实世界中呈现出一些虚拟的全息投影，即混合现实，不仅增强了真实感，还提供了一种新的人与现实世界交互的方式。 HoloLens与用户的交互主要有以下三种方式： 1、凝视（gaze） HoloLens可以探测到用户视线的焦点所在从而做出一些判断和反应。 2、手势（gesture）...
uni-app调用摄像头扫码功能示例（支持前置和后置摄像头）
03-07
本示例主要介绍如何在uni-app中实现调用摄像头进行扫码功能，同时支持前置和后置摄像头切换。这个功能在很多场景下都非常实用，比如商品扫码、二维码登录等。 首先，你需要在你的uni-app项目中引入扫码相关的插件。...
Holoens调用系统摄像头进行拍照
12-08
Hololens 进行调用相机拍照，将文件保存到本地文件夹，也可以直接转换成Texture2D,然后使用RaeImage直接显示，可以直接导入运行
HoloLensWithOpenCVForUnityExample：HoloLens与OpenCVforUnity示例
02-06
HoloLens与OpenCVForUnity示例 什么是新的 将HoloLensCameraStream插件更改为camnewnham的存储库。 （改善相机更新FPS，隐藏录制图标，提取相机固有功能） 演示视频（旧版本） 演示Hololens应用 使用Windows设备门户在HoloLens上安装应用程序。 环境 Hololens 10.0.17763.914（RS5） Windows 10 SDK 10.0.18362.0 Visual Studio 2017或2019 Unity 2018.4.28f1 + v2.2.0 2.4.1+ 建立 下载最新版本的unityp
python 简单照相机调用系统摄像头实现方法 pygame
12-24
如下所示： # -*- coding: utf-8 -*- from VideoCapture import Device ...speed = [2, 2] black = 0, 0, 0 if pygame.display.get_init(): print ("inited") else: print"notinit" pygame.displ
微信小程序使用前置摄像头拍照
01-18
本文实例为大家分享了微信小程序使用前置摄像头拍照的具体代码，供大家参考，具体内容如下 1、拍照页面： 拍照> <camera v-if=openCamera device-position=front frame-size=large class=zipai error=error> ...
CatchCam:使用链接抓取前置摄像头
05-26
通过调用 `navigator.mediaDevices.getUserMedia()` API，我们可以访问用户的摄像头和麦克风，将视频流实时显示在 `<video>` 元素上。 2. getUserMedia API： `getUserMedia()` 是一个浏览器原生 API，它允许 Web ...
Hololens2开发笔记-运行研究模式官方案例（CameraWithCVAndCalibration）
Apple_Coco的博客
03-04 830
这个 Demo 用到了 OpenCV 库，预感在构建的过程中可能会出现一些其他的问题，果然哈哈 可能出现的问题： 错误 LNK1107 文件无效或损坏: 无法在 0x86 处读取 CameraWithCVAndCalibration。问题截图如下： GitHub 上关于此问题的讨论：OpenCV lib corrupt #66 这个问题可能由两个原因引起的： 直接下载仓库的 ZIP 文件，而不是直接 Clone 获取该仓库； 没有运行 git lfs install 命令。 实际上，在 Camer
Hololens2初入——调用深度相机和前置摄像头的Demo
scy261983626的博客
09-23 5223
文章目录Hololens初入——真机发送传感器数据，PC端Python接收基础条件问题记录未找到System类型的命名空间 Hololens初入——真机发送传感器数据，PC端Python接收 基础条件 问题记录 未找到System类型的命名空间 问题图： 原因： 应该是工程里面没有添加system的程序集，（C# 里面一般称为程序集，其实就是相当于包） 解决： 参考: ...
基于Unity的Hololens2与服务器进行Json、模型以及视频流传输实战（个人Hololens2进阶开发总结）
rikeilong的博客
07-17 2618
基于Unity的Hololens2访问下载链接实现Json、模型以及视频流传输
HoloLens2 初入——从Lut表中求解相机内参
scy261983626的博客
05-24 2177
文章目录HoloLens2 初入——求定位相机内参矩阵引言基本条件关键代码 HoloLens2 初入——求定位相机内参矩阵 引言 求取定位相机内参矩阵的目的是为了能够将相机坐标系下的坐标点映射到图像上的像素点。这个过程在进行深度相机和其它相机对齐的时候需要用到。 对齐的意思就是在灰度图像中找到和深度图像某一个像素点对于的像素位置。 由于最近时间比较紧，先不写详细的内容。先把关键的代码开源一下。 以后再详细解释 基本条件 1、相应相机的lut表 2、该相机的分辨率 这两个条件可以通过微软提供的SteamRec
如何从HoloLens中拍摄出满意的照片/视频
皮皮#2500
07-07 896
HoloLens视频录制
使用vuforia开发项目时无法调用电脑前置摄像头怎么办？
最新发布
05-19
Vuforia是一个基于AR技术的开发平台，其支持的设备包括移动设备和眼镜等。如果你在使用Vuforia开发项目时无法调用电脑前置摄像头，可能是以下原因导致的： 1. 电脑前置摄像头驱动未安装或未启用：请检查电脑前置摄像头的驱动是否已经正确安装，并且在设备管理器中已经启用。 2. Vuforia版本不兼容：请确认你使用的Vuforia版本是否支持电脑前置摄像头。如果不支持，请尝试升级到最新版本。 3. 程序问题：如果以上两个原因都已经排除，那么可能是程序本身存在问题。请检查你的程序是否正确调用了电脑前置摄像头并设置了正确的参数。 4. 其他原因：如果以上三个原因都不是问题的根源，那么可能是其他硬件或软件问题导致的。建议尝试在其他电脑上测试，以确定问题的具体原因。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客范儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值