HoloLens论文笔记01

论文一：.基于HoloLens的增强现实识别系统
论文二：基于混合现实技术的班鬓狗数字化复原的设计与实现
论文三：基于HoloLens的物体检测与定位
论文四：.基于HoloLens三维地理场景建模与可视化
论文五：基于HoloLens和触觉反馈的多模态混合现实系统研究

论文一：.基于HoloLens的增强现实识别系统

1. 标识信息和虚拟信息需要提前置入，提出了免标识跟踪的模型动态加载方法，以关键字查询的的方式动态加载虚拟模型，
2. 增强现实技术中标识信息识别泛化能力弱，识别效率低的问题，提出了免注册标识的识别方法，利用迁移学习方法训练卷积神经网络来实现目标信息的识别分类
3. 系统以C/S架构解决应用场景和虚拟信息的更新问题，利用HoloLens设备为客户端完成目标信息采集、模型动态加载、空间映射和人机交互等功能，服务端采用迁移学习方法训练网络模型。并根据应用场景的变化更新了系统所需的目标信息和虚拟信息。

增强现实技术主要包括信息识别、三维注册、虚实融合以及实时交互的特性。
信息识别的任务是识别设备获取的标识信息，该特性直接影响增强现实系统能否精确地捕捉到特征信息，为三维注册提供所需的数据
三维注册的任务是通过设备姿态估计、空间坐标等信息将虚拟信息准确映射到相应的位置上 ，并不断刷新这些信息在显示器中的位置，
三维注册技术主要有基于计算机视觉跟踪注册、基于硬件传感器跟踪注册以及混合跟踪注册方法

计算机视觉的跟踪注册技术：

1. ARToolkit，首先将标识图像进行灰度二值化处理，之后分割图像，并在分割后的黑白图像中搜索连通域轮廓，提取出标识，通过模板匹配载入合适的虚拟信息，
2. ARTag通过基于边界的算法来提取特征，不仅提取标识图像中所有的直线段，还提取可以组成四边形的直线段，将后者作为备选目标区域的轮廓，通过扩大采集到的标识图像区域来提高标识的抗干扰性。

跟踪定位：

1. 人工标识跟踪定位技术：通过图像模板匹配或编码特征标识来识别标识信息，图像模板匹配需要将目标图像进行校正，再与3种光照和4个方向上标准图像进行逐一匹配
2. 编码方式2：（需要提前置入标识信息和虚拟信息）对图像内部进行解码来识别标识，使用海明编码的方式将每一行编码的第3 位和第5位设置为有效码，其余3位设置为校验码，通过该方法有效提高识别效率。
3. 自然特征跟踪定位的方式去识别标识，从视频图像中提取特征点，然后与提前注册的特征进行匹配，根据实时计算的相机姿态载入合适的虚拟物模型，不足之处在于计算量较大需要不断提取视频流中的特征点以及识别效率也较低
4. 彩色标志点的跟踪算法，并在此基础上建立了相应的四点高斯牛顿迭代注册系统
5. 基于自然特征点的注册方法，通过已知场景中的三维模型以及少量标定的关键帧图像的基础上，选择与当前图像最匹配的关键帧，利用基于关键帧的图像匹配算法实时获取相机的运动参数估计

增强现实技术的难点：

• 可识别的标识信息种类数量，识别标识信息的种类数量直接影响