附件-工程简介

感谢您在忙碌之余阅读我的简历！

文章尚在不断完善，若有任何疑问或者问题，希望能得到您的提问与指导，我会尽快和您交流。

一、基于增强现实的飞机可视化安装指导系统

1.项目描述

项目来源：工业和信息化部关于民用飞机专项科研项目

飞机装配过程中，装配现场工艺可视化程度直接影响操作人员的工作效率。提高装配现场工艺可视化程度，优化装配现场信息管理方式，有利于提高飞机装配的效率。飞机的零部件种类和数量众多，装配环节复杂、繁琐、易错。装配现场中操作人员仍依赖对纸质文件的感官记忆来辅助装配，严重影响操作人员的直观体验及装配效率。

1.1基于Vuforia的虚实融合配准算法

增强现实的最基本的目标就是让虚拟物体和真实环境融合，达到这一目标需要实时的获取用户的观察位姿，以便计算机能够根据位姿信息把虚拟物体渲染到真实环境中的正确位置上去，并保持正确的姿态，这个过程也被称为三维注册或配准。

Vuforia是世界上主流的AR SDK提供厂商。虚实融合中使操作者通过AR设备在正确的位置看到虚拟物体的过程实际上是经过数个坐标变换实现的。首先是虚拟世界坐标系与世界坐标系之间的变换，其次是世界坐标系与像素坐标系之间的变换，最后是虚拟世界坐标系与像素坐标系之间的变换。

1.2基于HoloLens的部件装配引导交互算法

针对装配工艺的浏览、参数输入、交互操控等具体应用环境下的不同组合方式的选择。选择手势识别、眼动追踪、语音识别、虚拟按钮和虚拟键盘的先进人机交互方式，对其进行集成，形成多通道交互模式。

手势交互 ：HoloLens通过TOF深度相机来获取手部输入，通过手势识别算法（模型拟合方案）来识别不同的手势。基于此来完成手势指令的识别。通过给物体添加Near Interaction Grabbable（Script）、Manipulation Handler （Script）等组件，使得操作者可以与虚拟模型进行交互。

眼动追踪：Hololens可以识别眼球注视的角度来发射出一条射线，来识别眼球所凝视到的物体。可以配合MRTK混合现实工具包来启用HoloLens眼动追踪。

语音输入：Hololens2中加入了普通话识别。

1. 在MixedRealityInputSystem中的Speech->Speech Commands里输入指令集合。
2. 在需要控制的物体上挂载Speech Input Handler，以及包含控制函数的脚本，在handler面板中将指令词与控制函数一一对应，并调节其他参数。