Hololens2初入——调用深度相机和前置摄像头的Demo

最新推荐文章于 2024-04-18 09:50:21 发布
最新推荐文章于 2024-04-18 09:50:21 发布
阅读量5.2k 收藏 24
点赞数 4
分类专栏： Hololen 2 C#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scy261983626/article/details/108685000
版权
Hololen 2 同时被 2 个专栏收录
14 篇文章 40 订阅
订阅专栏
C#
4 篇文章 1 订阅
订阅专栏

文章目录

Hololens2初入——HoloLens2ForCV

平台环境

- 更新时间：2020-09-21 14.36

  • 更新时间：2020-09-24 19.56
    - 系统版本： Win10 专业版
  • 系统版本： Win10 专业版( 内部预览体验版本，加入过程和打开研究者模式是一起的，看下面的链接)
  • VS版本： 2019社区版
  • 头盔机型：Hololens2
  • MRTK版本：2.4
  • WIN SDK ：19041.1.191206
  • Unity 版本：2019.3.x
  • CUDA版本：10.2
    ——————————————————
  • PC和Hololens2均打开开发者模式
  • Hololens2 打开研究者模式 (注意：采用普通的recording mode 是不可以的，必须是研究者模式)
  • HoloLens2初入——打开研究者模式(Research mode)

引言

倒腾了HoloLensForCV半天，以为一代的研究模式工程与二代应该可以兼容，但是万万没想得到的是 Hololens2有一个独立的研究模式下的github工程。还是通过各种跳转链接搜索到的。应该能步入正轨，开始研究Hololens2的研究模式了。以后的文章标题里面均采用Hololens2以区分Hololen1.

工程介绍

  • 关键信息
    HoloLens2ForCV与Hololens2不兼容！ 不兼容！不兼容！
  • 官方工程介绍
    在这里插入图片描述

实操过程

下载工程

  • HoloLens2ForCV工程下载 自己指定位置。
  • 解压缩工程，里面主要的两个文件夹，分别是指南和代码示例。
    在这里插入图片描述
  • 最好先看一下指南，了解下大概

生成与部署

  • 打开解决方案，这边演示的是SensorVisualization.sln这个
    在这里插入图片描述
  • 生成解决方案
    选择 Debug模式和ARM64的架构，然后生成（Build）

在这里插入图片描述

  • 将工程部署到Hololens2上
    选择Device ，因为我这边是通过USB进行数据传输， 如果是采用wifi连接的话，则选择远程设备
    在这里插入图片描述
  • 调试——>开始执行（不调式） 等待部署完成
  • 在HL2运行 SensorVisualization 应用，下面是运行图， 看样子 上面两张图片是左右两边朝前的图像，下面的是深度图像，按理说还有一个前置的RGB相机才对
    在这里插入图片描述

问题记录

Hello,Lance
关注
  • 4
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
专栏目录
HoloLens2ForCV:使用Microsoft HoloLens 2进行计算机视觉研究的示例代码和文档
04-12
目的 HoloLens 2研究模式可访问设备（深度摄像头，灰度摄像头，IMU）上的原始流。 通过发布研究模式API以及一系列工具和示例应用程序，我们希望更轻松地将HoloLens 2用作功能强大的计算机视觉和机器人技术研究设备。 该项目在ECCV 2020上启动。我们计划随着时间的推移扩展该项目，并欢迎研究界的贡献。 内容 该存储库包含有关HoloLens 2研究模式的文档和示例。 查看以熟悉新的HoloLens 2研究模式API。 查看的以获取有关“研究模式”及其主要功能的详细信息，阅读有关如何设置设备的信息，并了解如何使用此存储库中的应用程序。 查看此，以了解研究模式。 该存储库包含四个示例应用程序： 显示设备上实时显示的深度和灰度摄像机坐标系的可视化。 显示了如何处理设备上实时存在的研究模式流：它使用OpenCV检测两个前置灰度摄像机中的arUco标记并对检测进行三角
unity hololens socket demo
12-04
应粉丝要求，应用之前的通信协议和socket组件，做了一个简单的通信demo。socket模块已经在hololens模拟器上测试通过、完全兼容。压缩包提供的服务器是as3写的，如果需要源代码可以联系我索取。我觉得懂as3的已经不多了，就不上传了。
hololens2调用深度相机和前置摄像头
qq_37350725的博客
08-04 1373
下载 microsoft/HoloLens2ForCV: Sample code and documentation for using the Microsoft HoloLens 2 for Computer Vision research. (github.com) 此为官方demo 部署 参考 Hololens2初入——调用深度相机和前置摄像头的Demo_scy261983626的博客-CSDN博客 Hololens2初入——解决HL真机到PC图像传输的实时性问题_scy261983626的博客
探索未来视觉体验：微软HoloLens 2 for CV项目详解
最新发布
gitblog_00073的博客
04-18 346
探索未来视觉体验：微软HoloLens 2 for CV项目详解 项目地址:https://gitcode.com/microsoft/HoloLens2ForCV 项目简介 微软HoloLens 2 for CV是一个开源项目，它为开发者和研究人员提供了一套工具和示例代码，以便在混合现实环境中利用计算机视觉（CV）技术。结合强大的微软HoloLens 2设备，此项目旨在推动AR/VR技术和智能应...
Hololens2开发笔记-研究模式API文档翻译
Apple_Coco的博客
03-07 2400
文章目录综述大纲主传感器读取循环传感器类型相机传感器惯性传感器传感器坐标帧传感器传感器帧VLC帧载荷AHAT和长抛摄像机帧载荷长抛失效AHAT无效IMU帧载荷同意提示设置要求清单条目API参考设备接口传感器接口传感器帧同意接口 综述 第一代 HoloLens 引入了研究模式，研究不用于部署访问设备上的关键传感器的应用程序。HoloLens2 的研究模式保留了 HoloLens1 的功能，增加了对额外流的访问。同样，对于第一个版本，可以从以下输入中收集数据: 可见光环境跟踪摄像机-系统用于头部跟踪和地图创建
使用HoloLens 2调用深度相机和前置摄像头
极客园地
09-20 1916
实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。
微软新出的HoloLens 2将配备同级别的深度传感器
01-20
在 Build Day 1 开发者大会上，微软展示了一款全新的 Project Kinect for Azure 传感器，套件中包含了下一代景深摄像头、并且板载了 AI 处理能力。 该公司希望借助小型、低功耗的 Time of Flight 和附加传感器，显着提升 Azure AI 的洞察力和操作力。比如实现完全铰接的手部追踪、以及高保真的空间映射，从而将精度提升到新的级别。 　　　　在领英（ LinkedIn ）上， Alex Kipman 还证实了一件事 —— 第四代 Kinect 传感器，将出现在 Hololens 2 上。 该传感器的特性如下： 　　● 更高的像素（分辨率 1024
Hololens2-PhotoVideoCapture.unitypackage
07-18
Hololens拍照，录像，保存到本地，并读取图片和播放录制的视频 https://blog.csdn.net/shanguuncle/article/details/81096477
HoloLens2 Visible-Light Tracking Camera (VLC) 内参获取
皮皮#2500
01-06 1179
HoloLens2 Visible-Light Tracking Camera (VLC) Intrinsics HoloLens2 灰度相机相机内参获取
uni-app调用摄像头扫码功能示例（支持前置和后置摄像头）
03-07
uni-app调用摄像头扫码功能示例，拿来即用；
webview 调用手机相机和图库demo(亲测好用)
12-23
webview 调用手机相机和图库demo(亲测好用) webview.setWebChromeClient(new WebChromeClient() public boolean onShowFileChooser (WebView webView, ValueCallback[]> uploadMsg, FileChooserParams ...
HoloLens2-Machine-Learning:直接在HoloLens 2上使用深度学习模型进行图像分类
05-26
HoloLens-2-机器学习 使用在ImageNet 1000类数据集中训练的EfficientNetB0模型进行图像分类。 使用其板载CPU在HoloLens 2上直接运行模型推断。 关于 已在Unity 2019.4 LTS，Visual Studio 2019和HoloLens 2中进行测试 Rene Schulte的示例构建 输入大小为(224, 224)视频帧以进行在线推断 EfficientNetB0框架的预先训练过的TensorFlow-Keras实现被直接转换为ONNX格式以供本示例使用 运行样本 在Unity中打开示例 将构建平台切换到Universal Windows Platform ，选择HoloLens作为目标设备，并选择ARM64作为目标平台 生成Visual Studio项目并打开.sln文件 将onnx-models\model.onnx文件复制到Buil
HoloLensWithOpenCVForUnityExample：HoloLens与OpenCVforUnity示例
02-06
HoloLens与OpenCVForUnity示例 什么是新的 将HoloLensCameraStream插件更改为camnewnham的存储库。 （改善相机更新FPS，隐藏录制图标，提取相机固有功能） 演示视频（旧版本） 演示Hololens应用 使用Windows设备门户在HoloLens上安装应用程序。 环境 Hololens 10.0.17763.914（RS5） Windows 10 SDK 10.0.18362.0 Visual Studio 2017或2019 Unity 2018.4.28f1 + v2.2.0 2.4.1+ 建立 下载最新版本的unityp
hololens.rar
04-10
VS+unity实现混合现实源码，HoloLens上面可以对物体进行点击，移动等效果
web端调用大华摄像头demo及大华控件开发包编程指南文档
11-07
html页面调用大华摄像头，实现实时监控，以及回放、视频下载，云控制、视频窗口个数、预览、通道等并且是根据时间范围下载视频demo，并且附带了exe用于快速安装ocx控件
python 简单照相机调用系统摄像头实现方法 pygame
12-24
如下所示： # -*- coding: utf-8 -*- from VideoCapture import Device ...speed = [2, 2] black = 0, 0, 0 if pygame.display.get_init(): print ("inited") else: print"notinit" pygame.displ
C# winform调用本机摄像头demo 附源码
04-08
C# winform调用本机摄像头demo 附源码 c#调用本机摄像头，支持多摄像头切换，支持多分辨率切换，支持拍照，这是个demo程序，源码清晰简单。一共几十行代码。采用vs2012开发，winform程序
HoloLens开发手记 - Unity之Locatable camera 使用相机
weixin_34395205的博客
07-13 396
Enabling the capability for Photo Video Camera 启用相机能力   为了使用摄像头，我们必须启用WebCam能力。 在Unity中打开Player settings 展开Windows Store标签页 在"Publishing Settings > Capabilities"部分勾选WebCam能力   同一时刻只能执行...
Hololens2开发：Gettig Started
小EZ的博客
03-20 3784
本文章引用来源 Unity中使用HoloLens 2开发的必备知识 unity版本：Unity 2018.3 微软的Mixed Reality Toolkit v2： 下载地址 .NET Framework版本： 4.7.1 关于获取微软MRTK v2和HoloLens 2未来支持的信息 MRTK v2入门指南： 点击此处 MRTK v2路线图：点击此处 使用MRTK 安装好Unity3D ...
uniapp调用前置摄像头
06-28
### 回答1： UniApp是一种基于Vue.js框架开发的多端应用开发框架，可以轻松地开发出运行在微信小程序、App、H5、快应用等平台上的应用程序。为了在UniApp中通过前置摄像头拍摄照片或者录制视频，我们需要调用uni.chooseVideo和uni.chooseImage这两个API。 其中，uni.chooseVideo实现了调用前置摄像头的功能，可以通过以下步骤来实现： 1. 在uni-app项目的pages.json文件中注册一个页面，比如：video. 2. 在video.vue文件中通过调用uni.chooseVideo()方法来控制前置摄像头的开启。 3. 在uni.chooseVideo()的配置参数中，设置camera属性为“front”，即可调用前置摄像头。 具体实现代码如下所示： <template> <view> <button @tap="takeVideo">调用前置摄像头</button> </view> </template> <script> export default { methods: { takeVideo(){ uni.chooseVideo({ camera: 'front', // 调用前置摄像头 maxDuration: 60, success: function (res) { console.log(res.tempFilePaths[0]) } }) } } } </script> 通过上述方法，我们可以在uni-app中调用前置摄像头来拍摄或录制视频，并且可以根据自己的需求自定义参数来实现更多的自定义功能。 ### 回答2： Uniapp是一款跨平台开发框架，它通过一套代码可以在多个平台上运行，包括Android、iOS、H5等。如果我们想要在Uniapp中调用前置摄像头，需要进行以下步骤。 首先，在我们的项目中安装uni-chose-image插件，它可以提供一个包含相机、相册、预览等功能的页面，相机模块默认使用的是后置摄像头，因此我们需要设定使用前置摄像头。 其次，在页面的mounted函数中，找到uni.chooseImage的函数调用。根据文档，我们可以看到它接受一个对象作为参数，该对象包含count、scope、sizeType、sourceType和success等属性。其中，scope属性可以用来设定使用的摄像头，其取值有camera表示后置摄像头，frontCamera表示前置摄像头，unspecified表示不指定使用哪个摄像头。 最后，我们需要在manifest.json文件中，声明我们的应用需要使用摄像头权限。可以在app-plus节点中的nvue节点中添加支持的权限名称，例如camera。这样，当我们在使用uni.chooseImage函数时，系统会弹出一个权限请求对话框，询问用户是否授权应用使用摄像头。 综上所述，如果我们想在Uniapp中调用前置摄像头，我们需要安装uni-chose-image插件，在mounted函数中配置使用前置摄像头，以及在manifest.json文件中声明应用需要使用摄像头权限。通过这些步骤，我们可以很方便地实现前置摄像头的调用。 ### 回答3： Uniapp是一种跨平台的开发框架，开发者可以在不同的平台上快速地实现应用的开发。在Uniapp的应用中，调用前置摄像头可以帮助开发者实现许多在应用中需要使用的功能。以下是Uniapp调用前置摄像头的详细说明： 首先，在Uniapp中调用前置摄像头需要使用到uni-app插件，这个插件可以帮助开发者快速地实现在不同平台中使用前置摄像头的功能。 其次，在使用前置摄像头的时候，开发者需要注意以下两个问题： 1. 平台差异性：因为不同的平台上支持前置摄像头的方式不同，所以开发者需要在不同的平台上分别实现调用前置摄像头的方法。在uni-app插件中，可以使用#ifdef、#endif来判断需要调用的平台是哪个，然后进行相应的调用。 2. 权限问题：在调用前置摄像头时，开发者需要注意权限问题，不同的平台上可能需要不同的权限才能使用前置摄像头。在uni-app插件中，可以使用uni.requestAuth来请求相应的权限。在获取到权限之后，就可以正常地调用前置摄像头了。 最后，在进行前置摄像头调用时，需要注意一些技巧。例如，在使用前置摄像头进行拍照时，需要指定前置摄像头的ID。在uni-app插件中，可以使用uni.getSystemInfoSync获取到摄像头的ID，然后通过camera组件来进行拍照。此外，还需要注意前置摄像头和后置摄像头的差异，例如拍照时需要注意照片的方向等问题。 总之，在使用Uniapp调用前置摄像头的过程中，需要注意平台差异性、权限问题、技巧等方面，才能够顺利实现调用前置摄像头的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值