Hololens2初入——调用深度相机和前置摄像头的Demo

最新推荐文章于 2025-03-06 14:51:14 发布
最新推荐文章于 2025-03-06 14:51:14 发布
阅读量5.7k 收藏 25
点赞数 4
分类专栏： Hololen 2 C#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scy261983626/article/details/108685000
版权
本文介绍了Hololens2的研究模式设置与开发环境配置，包括系统版本、开发工具及软件版本等关键信息，并详细记录了从下载工程到部署运行的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Hololens2初入——HoloLens2ForCV

平台环境

- 更新时间：2020-09-21 14.36

  • 更新时间：2020-09-24 19.56
    - 系统版本： Win10 专业版
  • 系统版本： Win10 专业版( 内部预览体验版本，加入过程和打开研究者模式是一起的，看下面的链接)
  • VS版本： 2019社区版
  • 头盔机型：Hololens2
  • MRTK版本：2.4
  • WIN SDK ：19041.1.191206
  • Unity 版本：2019.3.x
  • CUDA版本：10.2
    ——————————————————
  • PC和Hololens2均打开开发者模式
  • Hololens2 打开研究者模式 (注意：采用普通的recording mode 是不可以的，必须是研究者模式)
  • HoloLens2初入——打开研究者模式(Research mode)

引言

倒腾了HoloLensForCV半天，以为一代的研究模式工程与二代应该可以兼容，但是万万没想得到的是 Hololens2有一个独立的研究模式下的github工程。还是通过各种跳转链接搜索到的。应该能步入正轨，开始研究Hololens2的研究模式了。以后的文章标题里面均采用Hololens2以区分Hololen1.

工程介绍

  • 关键信息
    HoloLens2ForCV与Hololens2不兼容！ 不兼容！不兼容！
  • 官方工程介绍
    在这里插入图片描述

实操过程

下载工程

  • HoloLens2ForCV工程下载 自己指定位置。
  • 解压缩工程，里面主要的两个文件夹，分别是指南和代码示例。
    在这里插入图片描述
  • 最好先看一下指南，了解下大概

生成与部署

  • 打开解决方案，这边演示的是SensorVisualization.sln这个
    在这里插入图片描述
  • 生成解决方案
    选择 Debug模式和ARM64的架构，然后生成（Build）

在这里插入图片描述

  • 将工程部署到Hololens2上
    选择Device ，因为我这边是通过USB进行数据传输， 如果是采用wifi连接的话，则选择远程设备
    在这里插入图片描述
  • 调试——>开始执行（不调式） 等待部署完成
  • 在HL2运行 SensorVisualization 应用，下面是运行图， 看样子 上面两张图片是左右两边朝前的图像，下面的是深度图像，按理说还有一个前置的RGB相机才对
    在这里插入图片描述

问题记录

unity hololens socket demo
12-04
应粉丝要求，应用之前的通信协议和socket组件，做了一个简单的通信demo。socket模块已经在hololens模拟器上测试通过、完全兼容。压缩包提供的服务器是as3写的，如果需要源代码可以联系我索取。我觉得懂as3的已经不多了，就不上传了。
使用HoloLens 2调用深度相机和前置摄像头
极客园地
09-20 2534
实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。
HoloLens 2 显示方案详解
最新发布
houdou112358的博客
03-06 443
HoloLens 2 的显示方案以 ‌LBS 激光扫描‌ 和 ‌衍射光波导‌ 为核心，在亮度、视场角、分辨率等方面实现突破，但色彩准确性和闪烁问题仍需优化。该方案为混合现实应用提供了硬件基础，尤其适用于工业、医疗等需高精度交互的场景‌。
hololens2调用深度相机和前置摄像头
qq_37350725的博客
08-04 1532
下载 microsoft/HoloLens2ForCV: Sample code and documentation for using the Microsoft HoloLens 2 for Computer Vision research. (github.com) 此为官方demo 部署 参考 Hololens2初入——调用深度相机和前置摄像头的Demo_scy261983626的博客-CSDN博客 Hololens2初入——解决HL真机到PC图像传输的实时性问题_scy261983626的博客
微软新出的HoloLens 2将配备同级别的深度传感器
01-20
在 Build Day 1 开发者大会上，微软展示了一款全新的 Project Kinect for Azure 传感器，套件中包含了下一代景深摄像头、并且板载了 AI 处理能力。 该公司希望借助小型、低功耗的 Time of Flight 和附加传感器，显着提升 Azure AI 的洞察力和操作力。比如实现完全铰接的手部追踪、以及高保真的空间映射，从而将精度提升到新的级别。 　　　　在领英（ LinkedIn ）上， Alex Kipman 还证实了一件事 —— 第四代 Kinect 传感器，将出现在 Hololens 2 上。 该传感器的特性如下： 　　● 更高的像素（分辨率 1024
HoloLens2ForCV:使用Microsoft HoloLens 2进行计算机视觉研究的示例代码和文档
04-12
目的 HoloLens 2研究模式可访问设备（深度摄像头，灰度摄像头，IMU）上的原始流。 通过发布研究模式API以及一系列工具和示例应用程序，我们希望更轻松地将HoloLens 2用作功能强大的计算机视觉和机器人技术研究设备。 该项目在ECCV 2020上启动。我们计划随着时间的推移扩展该项目，并欢迎研究界的贡献。 内容 该存储库包含有关HoloLens 2研究模式的文档和示例。 查看以熟悉新的HoloLens 2研究模式API。 查看的以获取有关“研究模式”及其主要功能的详细信息，阅读有关如何设置设备的信息，并了解如何使用此存储库中的应用程序。 查看此，以了解研究模式。 该存储库包含四个示例应用程序： 显示设备上实时显示的深度和灰度摄像机坐标系的可视化。 显示了如何处理设备上实时存在的研究模式流：它使用OpenCV检测两个前置灰度摄像机中的arUco标记并对检测进行三角
探索未来视觉体验：微软HoloLens 2 for CV项目详解
gitblog_00073的博客
04-18 476
探索未来视觉体验：微软HoloLens 2 for CV项目详解 HoloLens2ForCV项目地址:https://gitcode.com/gh_mirrors/ho/HoloLens2ForCV 项目简介 是一个开源项目，它为开发者和研究人员提供了一套工具和示例代码，以便在混合现实环境中利用计算机视觉（CV）技术。结合强大的微软HoloLens 2设备，此项目旨在推动AR/VR技术和智能应...
Hololens2-PhotoVideoCapture.unitypackage
07-18
Hololens拍照，录像，保存到本地，并读取图片和播放录制的视频 https://blog.csdn.net/shanguuncle/article/details/81096477
HoloLens2 Visible-Light Tracking Camera (VLC) 内参获取
皮皮#2500
01-06 1553
HoloLens2 Visible-Light Tracking Camera (VLC) Intrinsics HoloLens2 灰度相机相机内参获取
HoloLens开发手记 - Unity之Locatable camera 使用相机
weixin_34395205的博客
07-13 451
Enabling the capability for Photo Video Camera 启用相机能力   为了使用摄像头，我们必须启用WebCam能力。 在Unity中打开Player settings 展开Windows Store标签页 在"Publishing Settings > Capabilities"部分勾选WebCam能力   同一时刻只能执行...
Hololens2开发：Gettig Started
小EZ的博客
03-20 3839
本文章引用来源 Unity中使用HoloLens 2开发的必备知识 unity版本：Unity 2018.3 微软的Mixed Reality Toolkit v2： 下载地址 .NET Framework版本： 4.7.1 关于获取微软MRTK v2和HoloLens 2未来支持的信息 MRTK v2入门指南： 点击此处 MRTK v2路线图：点击此处 使用MRTK 安装好Unity3D ...
HoloLens2-Machine-Learning:直接在HoloLens 2上使用深度学习模型进行图像分类
05-26
HoloLens-2-机器学习 使用在ImageNet 1000类数据集中训练的EfficientNetB0模型进行图像分类。 使用其板载CPU在HoloLens 2上直接运行模型推断。 关于 已在Unity 2019.4 LTS，Visual Studio 2019和HoloLens 2中进行测试 Rene Schulte的示例构建 输入大小为(224, 224)视频帧以进行在线推断 EfficientNetB0框架的预先训练过的TensorFlow-Keras实现被直接转换为ONNX格式以供本示例使用 运行样本 在Unity中打开示例 将构建平台切换到Universal Windows Platform ，选择HoloLens作为目标设备，并选择ARM64作为目标平台 生成Visual Studio项目并打开.sln文件 将onnx-models\model.onnx文件复制到Buil
HoloLensWithOpenCVForUnityExample：HoloLens与OpenCVforUnity示例
02-06
HoloLens与OpenCVForUnity示例 什么是新的 将HoloLensCameraStream插件更改为camnewnham的存储库。 （改善相机更新FPS，隐藏录制图标，提取相机固有功能） 演示视频（旧版本） 演示Hololens应用 使用Windows设备门户在HoloLens上安装应用程序。 环境 Hololens 10.0.17763.914（RS5） Windows 10 SDK 10.0.18362.0 Visual Studio 2017或2019 Unity 2018.4.28f1 + v2.2.0 2.4.1+ 建立 下载最新版本的unityp
hololens.rar
04-10
VS+unity实现混合现实源码，HoloLens上面可以对物体进行点击，移动等效果
微软HoloLens2ForCV：推动混合现实中的计算机视觉研究
gitblog_09187的博客
09-13 350
微软HoloLens2ForCV：推动混合现实中的计算机视觉研究 HoloLens2ForCV 项目地址: https://gitcode.com/gh_mirrors/ho/HoloLens2ForCV ...
Microsoft HoloLens 技术解谜（上）
hunterzone的专栏
01-30 3791
HoloLens是什么？ HoloLens是微软发布的可穿戴式增强现实计算设备，它拥有这么几个关键要素： 它是增强现实产品，即 Augmented Reality（AR），AR技术将计算机生成的图像与真实的世界相叠加。类似的产品有图像投射到视网膜上的Google Glass，以及叠加在手机摄像头画面上的手机AR应用。它拥有是独立的计算单元，自带CPU＋GPU＋HPU，不需要外接
HoloLens2的彩色和深度数据流通过主机获取
极客园地
09-26 3437
关于HoloLens 2设备提供了研究者模式，便于开发者访问传感器的原始数据，进行科研开发，本博客根据github项目在线获得图像数据，但是目前达不到实时传输的效果，延迟很高，期望以后的深入学习可以解决。
HoloLens开发笔记-制作传送门
许书旭
07-04 2589
Hololens中由于活动空间的限制，传送门效果显得很有用，根据本教程效果，还可以做瞬移，瞬移效果的教程见本人后续博客更新。 1、搭建HoloLens开发的基本环境，导入开发包。 本案例为了演示需要，做了如下素材： 图1.1 1）HoloLensCamera，角色位置，从HoloToolkits拖入预制即可。 2）传送门，本例使用一个椭圆作为传送门。包含一个空Game
Hololens2开发笔记-运行研究模式官方案例（CameraWithCVAndCalibration）
Apple_Coco的博客
03-04 947
这个 Demo 用到了 OpenCV 库，预感在构建的过程中可能会出现一些其他的问题，果然哈哈 可能出现的问题： 错误 LNK1107 文件无效或损坏: 无法在 0x86 处读取 CameraWithCVAndCalibration。问题截图如下： GitHub 上关于此问题的讨论：OpenCV lib corrupt #66 这个问题可能由两个原因引起的： 直接下载仓库的 ZIP 文件，而不是直接 Clone 获取该仓库； 没有运行 git lfs install 命令。 实际上，在 Camer
unity hololens2 深度相机
07-21
### 回答1： Unity和Hololens2是两个不同的技术，但可以结合使用。Unity是一个跨平台的游戏引擎和开发工具，可以用来创建虚拟现实（VR）和增强现实（AR）应用程序。而Hololens2是微软推出的一款AR智能眼镜设备，能够将虚拟内容与现实世界进行融合显示。 而"深度相机"是Hololens2上的一个重要部件，用于感知和捕捉周围环境的深度信息。它通过红外光源和红外相机的组合，实现对场景中物体的深度感知和距离测量。这些深度信息可以用来进行空间定位、虚拟物体与真实物体的交互、手势识别等功能。 Unity提供了与Hololens2深度相机集成的功能和工具，开发者可以利用Unity的编程接口和资源来访问和处理Hololens2深度相机的数据。比如，可以使用Unity的ARFoundation插件，来访问Hololens2深度相机的深度图像，并将其与真实世界的图像进行融合，从而实现更加逼真的AR体验。 通过Unity和Hololens2深度相机的结合，开发者可以创造出更加交互性和真实感的AR应用。例如，在游戏中可以实现更好的物体检测和碰撞效果，或者在实时AR演示中可以精确地与场景中的物体进行互动。这种结合还有利于开发者完成虚拟物体在现实世界中的精准定位和跟踪，为用户提供更加沉浸式的增强现实体验。 总之，Unity和Hololens2深度相机是两个相互协作的技术，可以一起使用来实现更加出色和逼真的增强现实应用。这种结合为开发者提供了更多创造和创新的空间，让用户可以享受到更加令人印象深刻的AR体验。 ### 回答2： Unity Hololens 2是一种增强现实(AR)头戴式设备，具有内置的深度相机。深度相机是使用红外(IR)光的传感器，它可以感知和测量物体之间的距离，并生成真实场景的三维模型。 利用Hololens 2的深度相机，开发者可以创建逼真的增强现实应用程序。深度相机可以提供更准确的环境感知，通过生成点云数据和深度图像，捕捉周围环境的准确形状和位置。这使得在AR场景中添加虚拟物体更加准确且逼真。 深度相机还可以用于实现手势和交互控制。通过识别用户的手部和手指在三维空间中的位置和动作，Hololens 2可以允许用户通过手势操作虚拟对象或与应用程序进行交互。这种无需物理控制器的交互方式可以增加用户的沉浸感和自由度。 除了增强现实应用程序，Hololens 2的深度相机还可以用于计算机视觉和场景理解等领域。通过与Unity引擎结合，开发者可以使用深度相机的数据进行虚拟现实、人机交互、感知建模和智能辅助等应用的开发。 总体而言，Hololens 2的深度相机是一项强大的技术，它为开发者提供了更高级别的环境感知和交互控制功能，使得AR应用程序在可视化、交互和体验上更具真实感和创新性。 ### 回答3： Unity Hololens 2 是一种增强现实（AR）头戴式设备，它配备了一台深度相机。深度相机利用时间飞行（Time-of-Flight）技术，通过发送和接收红外光信号，并精确测量其返回时间来实现深度感知。 与普通相机不同的是，深度相机可以捕捉到场景中物体的距离信息，而不仅仅是颜色和纹理。这意味着Unity Hololens 2可以更精确地将虚拟物体与真实世界的物体进行交互，从而实现更逼真的增强现实体验。 深度相机可以帮助Unity Hololens 2实现空间映射和环境感知。它可以创建一个三维点云地图，将真实世界中的物体转换为虚拟环境中的可识别对象。通过实时捕捉深度数据，Hololens 2可以实现更准确的空间理解，从而为用户提供更好的AR体验。 除了用于空间映射和环境感知，深度相机还可以用于手势识别、空中操作等交互方式。通过实时的深度信息，Hololens 2可以识别用户的手势，并根据手势进行相应的操作。这一功能可以极大地提高用户与AR内容的互动性和自由度。 总之，Unity Hololens 2配备的深度相机是一项强大的技术，它使得AR体验更加真实、交互更加自然。通过空间映射、环境感知和手势识别等功能，深度相机为Hololens 2提供了更多的应用场景和可能性，使用户能够以前所未有的方式与虚拟世界进行互动。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值