HoloLens 2开发： Vuforia图片识别

前言

最近有新成员加入本团队，为了方便其开发HoloLens1/HoloLens2，将不定时更新HoloLens相关开发相关内容。

软件需求：

HoloLens 1：VS2017 + Unity2017；HoloLens 2：VS2019 + Unity2019；

1.安装VS2017 / VS2019，HoloLens 1安装Win10 SDK 17134或者17763，HoloLens2要求至少18362；相关安装与配置请参考博文.

2.Unity2017 / Unity2019，安装UWP平台；

注：如果使用的软件为VS2019和Unity2019来开发HoloLens1，可参考HoloLens2的开发过程，修改MRTK的配置文件为HoloLens1即可！可参考博文1，博文2.

---

HoloLens经常需要结合Vuforia一起开发，但是网上的相关博客的内容多数还是基于1代的内容，在这里我们针对HoloLens2结合Vuforia开发图片识别进行介绍。

一、硬件及软件需求

1.硬件

识别图（或物体）、HoloLens2、WebCam（用于调试）

2.软件

1.Unity 2019.3.13f1

2.Vuforia
Vuforia的基础使用教程可参考官方文档：官网.

二、开发步骤

1.新建Unity工程，导入MRTK

1）下载MRTK，官方地址：MRTK or 网盘：网盘，提取码：kll8；

2）新建Unity工程，切换平台至UWP（如果没有该平台组件请先下载安装），Add Open Sences；

3）导入MRTK组件：Assets -> Import Package -> Custom Package，依次导入四个组件；
注意：首先导入Foundation组件，否则将报错.

4）将场景添加至MRTK中：Mixed Reality Toolkits -> Add ti Sence and Configure；

5）选中Hierarchy面板的MixedRealityToolkit，在Inspector面板下切换为DefaultHoloLens2ConfigurationProfile；

2.导入并配置Vuforia

1）导入Vuforia组件：Window -> Package Manager -> Vuforia Engine AR，点击Install；

2）选中Hierarchy面板MixedRealityPlayspace下的Main Camera，在Inspector面板下点击Add Componments，查找Vuforia Behaviour并确认；


3）Open Vuforia Engin configuration，填写License Key；

4）导入要识别的Database：Assets -> Import Package -> Custom Package；

5）在Hierarchy面板右键添加：Vuforia Engine -> Image，在Inspector面板下选择相应的Database和target；

尤其要注意：Image的Scale需要和实际打印的识别图大小保持一致，如这里我识别的图像大小为20cm，所以在Unity中填写Scale为0.2，否则将引起虚拟对象的漂移，与预想位置不符；

6）在Hierarchy面板中选中Image，为其添加子物体，即识别后显示的虚拟物体，这里我们添加Cube；

3.WebCam调试运行

1）检查Vuforia的相关配置是否正确，包括：Vuforia Behaviour、License Key、Database以及Scale等；

2）Player Settings下找到Publishing settings，确认InternetClient、WebCam、Microphone、SpatialPrecetion被勾选；

3）连接WebCam，查看Open Vuforia Engin configuration下Camera Device是否正常加载，没有正常加载可以尝试重插或更新驱动；如果出现下图，可忽略警告；

4）点击运行，如下图

5）在此我遇到过Unity崩溃的问题，但重启工程后又没有问题，且不影响工程在HoloLens2的发布与部署，具体原因未知；如果Cam的图像不能正常加载，请检查MixedRealityToolkit在Inspector面板下是否切换为DefaultHoloLens2ConfigurationProfile；

6）WebCam调试正常，可发布至HoloLens2；

4.部署至HoloLens2

将工程发布并部署至HoloLens2，可参考上一篇博文：HoloLens2工程部署.

总结

以上就是HoloLens2基于Vuforia进行图片识别的介绍，欢迎讨论！