HoloLens2开发:使用MRTK并且模拟眼动追踪

最新推荐文章于 2024-05-17 03:59:21 发布
最新推荐文章于 2024-05-17 03:59:21 发布
阅读量3.8k 收藏 12
点赞数 4
分类专栏： HoloLens2开发 Hololens开发 MRTK 文章标签： HoloLens2 MRTK HoloLens2开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35649669/article/details/102824458
版权

注:如何导入MRTK可以见我的前一篇文章：
HoloLens2开发：使用MRTK并在Unity中模拟手势输入

示例在 Assets\MixedRealityToolkit.Examples\Demos\EyeTracking\Scenes 文件夹下，打开第一个场景
在这里插入图片描述
由于MRTK中不能真正使用类似HoloLens 2 的眼球追踪，所以会默认把画面中心视为眼球焦点
下面是示例运行图片：
图中的白点即是眼球的焦点，而且HoloLens 2 中 只给出一个焦点（根据左右眼球的组合）
眼睛注视小球即会旋转，手势点击即会消失。
在这里插入图片描述
使用眼动进行阅读（由于30帧录制gif过大，所以只能采用5帧版）
在这里插入图片描述
眼动HeatMap(指示了眼睛聚焦处和聚焦时长):
在这里插入图片描述
一个非常精妙的眼动旋转（随视线而旋转）
在这里插入图片描述

一只小EZ
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
[hololens2]启用眼球追踪
Twenty-Seven的博客
06-23 1947
1.首先确保开启了眼睛注视输入功能 在 Unity 菜单中，选择 Mixed Reality > Toolkit > Utilities >Configure Project for MRTK打开MRTK Project Configurator窗口，然后在UWP Capabilities部分，验证Enable Eye Gaze Input Capability是灰色的： 2.在凝视提供者中启用基于眼睛的凝视 在 Hierarchy 窗口中，选择MixedRealityTool.
Git Hub上的Hololens 2官方开发包MRTK
07-20
Holoens 2 官方开发包MRTK，从Git Hub搬运。欢迎没有VPN的小伙伴下载。适用于Unity 3D。
unity Holoens2开发，使用Vuforia识别实体或图片 触发交互（一）_vuforia应用hololens2识别图片(3)
最新发布
m0_61068496的博客
05-17 1194
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
Unity HoloLens2 开发笔记（六）：使用眼动追踪 追踪物体
Liam's blog
08-25 3986
请问
HoloLens 2开发：使用Gaze开发，视线小球不停向眼端移动
HDarker的博客
09-23 468
项目场景： 在HoloLens开发过程中经常需要使用Gaze作为交互对象，直接使用HoloToolKit或者MRTK的视线预制体即可实现交互。 如果读者想要创建简单的Gaze交互场景，而不想导入大量的附加组件，可以自己创建视线小球，添加相关脚本实现Gaze交互。 Gaze简单开发可以参考博文. 问题描述： 在相关配置完成后，用WebCam或者上传HoloLens，视线小球Sphere都会不停的向用户眼前移动，多次尝试修改没有作用。 以往出现该问题，将工程新建即可，但本次重新开发，新建工程没有作用，经过对
HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能
scy261983626的博客
10-03 2542
文章目录HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能引言基础环境安装DotNetWinRT包设置MRTK配置文件配置光标指示点效果图现在的中文博客很少，公司里面开发都是内部的开发手册，不往外出。自己踩坑很难受，在CSDN搬了两年砖，好歹能自己做个砖头了。 觉得能帮忙避坑的话帮忙点个赞吧，形成个闭环，还能有点心理安慰。光nuget就坑了我两天时间！！！！！！ HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能 引言 内容： 在Unity中设置眼动追踪的工程环
HoloLens2之路－MRTK概述
DavidWang
04-13 3752
版权声明：Davidwang原创文章，严禁用于任何商业途径，授权后方可转载。    MRTK（Mixed Reality Toolkit）是微软公司为加速AR/MR/VR应用程序开发而设计开发的开源工具集，提供Unity和Unreal两种版本，MRTK提供了一系列的组件与功能集，支持AR（ARCore、ARKit）、MR（HoloLens）、VR（HTC Vive、Oculus Rift、Oculus Quest）、混合现实头盔（Windows Mixed Reality Headsets）各类平台，是
Unity开发Hololens 2混合现实增强现实应用开发工具包 MRTK 2.5.4
02-26
标题中的“Unity开发Hololens 2混合现实增强现实应用开发工具包 MRTK 2.5.4”指的是使用Unity引擎开发针对Microsoft Hololens 2设备的混合现实（MR）和增强现实（AR）应用程序的过程，其中关键工具是MixedReality ...
Hololens开发包 MRTK2.7.2
09-15
《Hololens开发包MRTK 2.7.2：构建混合现实应用的基石》 混合现实技术（Mixed Reality）是近年来科技领域的热点之一，它将虚拟世界与现实环境无缝融合，为用户带来前所未有的体验。在Hololens设备上进行开发，...
MRTK2.5.rar hololens的unity开发包
11-10
3. **眼球追踪**：Hololens 2引入了眼球追踪技术，MRTK 2.5允许开发者利用这一特性，创建更加直观和个性化的用户体验。 4. **跨平台兼容性**：MRTK 2.5不仅支持Hololens，还支持Android和iOS的ARKit/ARCore，这意味...
MRTK.HoloLens2.Unity.Tutorials.Assets.GettingStarted.2.3.0.2.unitypackage
06-02
MRTK.HoloLens2.Unity.Tutorials.Assets.GettingStarted.2.3.0.2
MRTK DOC.rar
03-12
MRTK是针对MR(hololens等）的tookkit，该资源是官方使用文档。详细介绍了MRTK的使用方法，利用它可以开发基于Hololens2运行的程序
Hololens2基础开发工程文件
02-01
《HoloLens2基础开发工程文件详解》 在探索混合现实技术的广阔天地时，HoloLens2无疑是最前沿的设备之一。它以其强大的空间计算能力和沉浸式用户体验，为开发者提供了一个全新的平台来构建混合现实应用程序。本篇将...
MixedRealityToolKit.7z（ 混合显示 HoloLens MRTK2.6.0版本）
03-09
- **眼动追踪**：通过HoloLens 2的眼球追踪功能，获取用户的视线方向，提升交互的真实性和个性化。 MRTK 2.6.0还引入了性能优化、错误修复以及对Unity新版本的兼容性更新，确保开发者在构建混合现实应用时能享受到...
Hololens2元素周期表项目实例.zip
11-19
MixedRealityToolkit（MRTK）是微软为HoloLens及其它混合现实平台开发的一套开源工具包，它提供了一系列易于使用的API和组件，简化了开发者构建MR应用的流程。在"元素周期表"项目中，MRTK起到了关键作用，它使得元素...
e2：e2提交-MRTK + Unity + WEBXR的用法示例
02-21
在"e2-main"这个文件中，很可能包含了使用MRTK和Unity开发的AR/VR项目源代码，以及配置文件等资源。开发者可以通过查看和分析这些文件，学习如何将MRTK与Unity结合，利用WebXR API实现一个可以在Web上运行的混合现实...
部署一个MRTK自带案例到HoloLens2上
weixin_45655555的博客
12-07 1360
环境 unity: VS:2019 (2017的编译会报错，升级为2019) 且可以取消勾选一些用不上的 步骤 1. 先设置一下基础环境 先将MRTK资源包导入unity 选择 example
Hololens2开发-5-MRTK手势交互demo
晴天下的大头娃娃
02-11 3346
一、以案例包中的这两个场景为例，进行学习 二、编辑器模拟控制 1.按下WSADQE键控制视角的前后左右上下 2.按下鼠标右键移动控制视角 3.按下鼠标右键+滚动鼠标滑轮控制视角的左右旋转 4.按下左shift键显示左手、空格键显示右手，按下的同时移动鼠标控制手的移动，按下的同时按下鼠标左键控制手的点击抓握 5.按下空格/左Shift+滚动鼠标滑轮控制左/右手的前后移动 6.按下T/Y键可以永久显示左/右手 再次按下取消双手可配合操作和实现缩放、旋转操作 7.按下Ctrl+Shif
HoloLens2系列讲解 - 03 MRTK配置
a451319296的博客
05-13 3280
一、创建Unity工程 1.使用Unity Hub 创建一个Unity工程，选择Unity版本、3D模板 和 设置工程名称和工程存储路径。（工程路径和工程名称不能含有中文字符）。 2.在菜单栏点击->File->Build Settings..，打开 Build Setting面板。 3.点击“Add Open Scenes”,将当前场景添加到发布列表中。 4.将发布平台切换为“Universal Windows Platform”，(详细设置如下图)。 二、下载M
学习笔记（18):HoloLens2开发入门教程-MRTK讲解之EyeTracking及语音识别
05-25
本篇学习笔记将介绍HoloLens 2 的 EyeTracking（眼动跟踪）和语音识别功能，以及如何在MRTK（Mixed Reality Toolkit）中进行开发。 EyeTracking HoloLens 2 的 EyeTracking 功能可以让用户通过视线在应用程序中进行选择和交互，而无需使用手势或语音命令。在MRTK中，我们可以使用EyeTrackingProvider来获取眼动跟踪数据。 首先，我们需要在MRTK中启用EyeTrackingProvider。在Unity中打开MRTK的配置文件，选择Eye Tracking选项卡，勾选Enable Eye Tracking选项，并将Update Interval设置为0.01。 接下来，在我们的场景中添加一个Cube，并将其设置为Interactable，这样用户可以使用眼动跟踪来选择它。然后，我们需要将EyeTrackingTarget组件添加到Cube上，这将使其成为眼动跟踪的目标。 最后，在我们的脚本中，我们可以使用EyeTrackingProvider来获取当前视线所在的位置，并将其用于交互。例如，我们可以在Update函数中检查是否正在注视着目标，并执行相应的操作： ```csharp using UnityEngine; using Microsoft.MixedReality.Toolkit.Input; public class EyeTrackingInteraction : MonoBehaviour { private EyeTrackingTarget target; private void Start() { target = GetComponent<EyeTrackingTarget>(); } private void Update() { if (target.IsBeingLookedAt) { // Do something } } } ``` 语音识别 HoloLens 2 的语音识别功能可以让用户通过语音命令在应用程序中进行选择和交互。在MRTK中，我们可以使用SpeechInputHandler来处理语音输入。 首先，我们需要在MRTK的配置文件中启用语音识别，选择Input选项卡，勾选Enable Speech Input选项，并选择我们要识别的语言。 接下来，在我们的场景中添加一个Cube，并将其设置为Interactable，这样用户可以使用语音命令来选择它。然后，我们需要将SpeechInputHandler组件添加到Cube上，这将使其能够接收语音输入。 最后，在我们的脚本中，我们可以使用SpeechInputHandler来处理语音输入，并将其用于交互。例如，我们可以在OnSpeechKeywordRecognized函数中检查识别到的关键字，并执行相应的操作： ```csharp using UnityEngine; using Microsoft.MixedReality.Toolkit.Input; public class SpeechInteraction : MonoBehaviour { private void Start() { var speechInputHandler = GetComponent<SpeechInputHandler>(); speechInputHandler.OnSpeechKeywordRecognized += OnSpeechKeywordRecognized; } private void OnSpeechKeywordRecognized(SpeechEventData eventData) { if (eventData.Command.Keyword == "select") { // Do something } } } ``` 总结 HoloLens 2 的 EyeTracking 和语音识别功能可以使用户更加方便地与应用程序交互。在MRTK中，我们可以使用EyeTrackingProvider和SpeechInputHandler来处理眼动跟踪和语音输入。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值