Unity HoloLens2 开发笔记(五):语音输入事件(可自定义)

7 篇文章 34 订阅
2 篇文章 0 订阅

语音输入提供程序(如Windows语音输入)不会创建任何控制器,而是允许您定义在识别时将引发语音输入事件的关键字。该语音命令配置文件中输入系统配置文件可以在其中配置识别关键字。对于每个命令,您还可以:

  • 选择一个输入动作以将其映射到。例如,通过这种方式,您可以将关键字“ 选择”映射到相同的动作,从而具有与鼠标左键单击相同的效果。
  • 指定一个按键代码,按下该按键将产生相同的语音事件。
  • 添加将在UWP应用中使用的本地化密钥,以从应用资源中获取本地化的关键字。

1.新建工程,导入MRTK

2.适配场景 状态栏——Mixed Reality Toolkit——Add to Scene and Configure

 

3.找到MixedRealityToolkit——Input——Speech——Speech Commands

注:期间遇到无法编辑的情况直接右侧Clone HoloLens2的配置,可能要多次Clone

 

4.Add a New Speech Command——添加两个指令:显示物体、隐藏物体

 

Keyword:自定义输入指令 如:放大物体,Enlarge the GameObject 中英文都可以,个人建议不要太花哨,简易识别的那种,毕竟这不是AI人工智能识别。

LocalizationKey:添加将在UWP应用中使用的本地化密钥,以从应用资源中获取本地化的关键字。

KeyCode:按下该按键将产生相同的语音事件。

Action:内置了一些操作,如需自定义可先选择None。

5.创建一个空GameObject,Postion:0,-2,8

6.在GameObject下创建一个Plane和Cube,Plane的Postion:0,0,0 ,Cube的Postion:0,2,0(这些都不重要,可以自己调整)

 

7.在GameObject上添加脚本SpeechInputHandler,找到Speech Confurmation Tooltip Prefab,选择路径下的Assets/MRTK/SDK/Features/UX/Prefabs/Tooltips/SpeechConfirmationTooltip

8.点击下面的+号 添加刚刚定义的指令,把Cube拖进去,选择GameObject.SetActive

 

9.打包发布测试

 

  • 1
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: UnityHololens2是两个不同的技术,但可以结合使用。Unity是一个跨平台的游戏引擎和开发工具,可以用来创建虚拟现实(VR)和增强现实(AR)应用程序。而Hololens2是微软推出的一款AR智能眼镜设备,能够将虚拟内容与现实世界进行融合显示。 而"深度相机"是Hololens2上的一个重要部件,用于感知和捕捉周围环境的深度信息。它通过红外光源和红外相机的组合,实现对场景中物体的深度感知和距离测量。这些深度信息可以用来进行空间定位、虚拟物体与真实物体的交互、手势识别等功能。 Unity提供了与Hololens2深度相机集成的功能和工具,开发者可以利用Unity的编程接口和资源来访问和处理Hololens2深度相机的数据。比如,可以使用Unity的ARFoundation插件,来访问Hololens2深度相机的深度图像,并将其与真实世界的图像进行融合,从而实现更加逼真的AR体验。 通过UnityHololens2深度相机的结合,开发者可以创造出更加交互性和真实感的AR应用。例如,在游戏中可以实现更好的物体检测和碰撞效果,或者在实时AR演示中可以精确地与场景中的物体进行互动。这种结合还有利于开发者完成虚拟物体在现实世界中的精准定位和跟踪,为用户提供更加沉浸式的增强现实体验。 总之,UnityHololens2深度相机是两个相互协作的技术,可以一起使用来实现更加出色和逼真的增强现实应用。这种结合为开发者提供了更多创造和创新的空间,让用户可以享受到更加令人印象深刻的AR体验。 ### 回答2: Unity Hololens 2是一种增强现实(AR)头戴式设备,具有内置的深度相机。深度相机是使用红外(IR)光的传感器,它可以感知和测量物体之间的距离,并生成真实场景的三维模型。 利用Hololens 2的深度相机,开发者可以创建逼真的增强现实应用程序。深度相机可以提供更准确的环境感知,通过生成点云数据和深度图像,捕捉周围环境的准确形状和位置。这使得在AR场景中添加虚拟物体更加准确且逼真。 深度相机还可以用于实现手势和交互控制。通过识别用户的手部和手指在三维空间中的位置和动作,Hololens 2可以允许用户通过手势操作虚拟对象或与应用程序进行交互。这种无需物理控制器的交互方式可以增加用户的沉浸感和自由度。 除了增强现实应用程序,Hololens 2的深度相机还可以用于计算机视觉和场景理解等领域。通过与Unity引擎结合,开发者可以使用深度相机的数据进行虚拟现实、人机交互、感知建模和智能辅助等应用的开发。 总体而言,Hololens 2的深度相机是一项强大的技术,它为开发者提供了更高级别的环境感知和交互控制功能,使得AR应用程序在可视化、交互和体验上更具真实感和创新性。 ### 回答3: Unity Hololens 2 是一种增强现实(AR)头戴式设备,它配备了一台深度相机。深度相机利用时间飞行(Time-of-Flight)技术,通过发送和接收红外光信号,并精确测量其返回时间来实现深度感知。 与普通相机不同的是,深度相机可以捕捉到场景中物体的距离信息,而不仅仅是颜色和纹理。这意味着Unity Hololens 2可以更精确地将虚拟物体与真实世界的物体进行交互,从而实现更逼真的增强现实体验。 深度相机可以帮助Unity Hololens 2实现空间映射和环境感知。它可以创建一个三维点云地图,将真实世界中的物体转换为虚拟环境中的可识别对象。通过实时捕捉深度数据,Hololens 2可以实现更准确的空间理解,从而为用户提供更好的AR体验。 除了用于空间映射和环境感知,深度相机还可以用于手势识别、空中操作等交互方式。通过实时的深度信息,Hololens 2可以识别用户的手势,并根据手势进行相应的操作。这一功能可以极大地提高用户与AR内容的互动性和自由度。 总之,Unity Hololens 2配备的深度相机是一项强大的技术,它使得AR体验更加真实、交互更加自然。通过空间映射、环境感知和手势识别等功能,深度相机为Hololens 2提供了更多的应用场景和可能性,使用户能够以前所未有的方式与虚拟世界进行互动。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值