[论文详读1]TeleAdvisor: A versatile augmented reality tool for remote assistance

---

前言

这是一篇关于增强现实的论文，作者提出了一种工具：TeleAdvisor。主要用于在许多场景中支持远程协助任务。它在用户端是一个机械臂，有一台摄像机和安装在遥控机械臂末端的小型投影仪；在协助端是一个用户控制界面。该机器的特点是解放工作人员的双手，而且设备可移动。因为传统的视频协助需要工作人员手持摄像头，工作不方便。而且为了可靠的关联相机的视图和投影空间，该机器还利用了主动跟踪投影空间技术。

---

一、介绍

远程协助的使用场景是工作人员在一个工作环境中遇到一定的工作困难，自己难以解决，需要专家来协助。比如：打印机出现故障，需要找人远程维修；医药专家需要指导一个医生完成一系列复杂的操作等。
在这些场景中，如果能够共享工作人员的工作空间，让远程协助人员可以看到工作人员的操作过程和使用的工具是有非常大的帮助的。上面提到过，如果采用传统的方法比如直接开视频效率是很低的，首先工作人员不知道问题出在哪里，很难给协助人员展示出现故障的地方，这就给协助人员诊断故障带来了困难；其次，开视频需要占用工作人员的手，不方便工作；再者只靠口头描述，工作人员很难准确操作。
一种想法是使用增强现实工具。Kirk等提出把协助人员的手势或者姿势利用投影仪投影到工作人员的工作空间。该投影仪有很大的投影区域，而且支持高分辨率的投影，然而，这些设备是静止的，只能放置在事先安排好的区域，不能移动。但是，有很多使用场景是需要灵活性的，不能事先安排特定的工作区域，所以需要一个更加灵活的工具，是工作人员能够灵活的放置。
所以作者提出了TeleAdvisor，一个远程协助工具，利用一台小型摄像机和微型投影仪。通过网络传输视频图像和帮助者的标注。该工具小巧便捷，可以移动任意放置。并且把工具放置在一个机械臂上，所以能够精准控制投影区域。TeleAdvisor还配备了一些标注工具，使其能够投影一个箭头、图像和文本。
在这篇文章中，作者还提出了解决TeleAdvisor视图动态区域的一个技术难题。同时也对这个工作系统进行了一系列的评估。

二、相关工作

很多研究尝试了不同的工具和装置来远程协助工作人员。这些研究都表明了能够让协助人员看到远程工作空间并融入到环境中是很重要的。也有一些研究表明，通过箭头、文本和图像来传输协助人员的操作对提高交流效率也有很大的帮助。早期的技术是把协助人员的操作手势发送到显示屏上，但是这会导致工作人员操作不连贯，需要来回在显示器和工作对象上转移注意力。
为了解决这个问题，一些研究使用了增强现实。Bauer等使用箭头来协助工作人员；GestureCam采用了相机和头戴式显示器。相机的视频发送到远程协助人员，协助人员的操作手势发送到工作人员的头戴式显示屏上。同时，还有第二个相机，在相机上安装一个控制器，协助人员能够控制这个控制器，该相机可以提供给助手一个静态图像。控制器还有一个激光发射装置，能够远程发射指针。O’Neill等利用混合现实通过3D模型来表示操作对象。
当然，还有一些其他的研究利用相机和移动的投影仪。比如第六感把相机和移动投影仪整合成一个可穿戴装置。

---

三、TELEADVISOR

TeleAdvisor包含两个部分：TeleAdvisor装置和控制界面。TeleAdvisor装置部分主要是一个机械臂，其上安装了一个相机和微型投影仪。相机捕捉视觉信息并传输给控制端。投影仪把从控制器发送过来的信息投影到操作对象上。工作人员可以根据需要任意移动装置。

1.控制界面

控制界面处于远程端，它的主要功能是使助手能够通过TeleAdvisor的相机看到工作人员的工作空间，以及利用一些手势投到工作空间。除此之外，协助人员还能够利用控制器控制机械臂移动以改变视角和投影区域。标示有注释和图像，可以覆盖在视频流上。然后这些标识通过网络发送到投影仪上，并投影到工作空间。除了使用指针和素描，协助人员也可以使用图像进行标注，比如在一个螺丝旁边可以用一个顺时针图标进行标注。也能画一个气泡，在里面可以填入文本进行描述，比如在一个物体旁边标注上“请勿触摸”。
当然这些注释也能被擦除。我们也考虑了通过画注释来改善协助人员的视角，但是经过几次实验后便放弃了，主要原因是很难把注释和真实世界的物体对齐，从而造成视觉混乱和误解。

2.助手对于视点的控制

一个固定的相机可以提供一个比较好的全局图像，但是不能展示细节。而固定在工作人员头上的相机又会导致两边的关注点不一致。Ranjan等人提出利用移动跟踪技术来跟踪工作人员的手，从而以此来移动相机。我们的技术把对相机的控制权交给协助人员，而且还能聚焦细节。
TeleAdvisor机械臂可以进行5个自由度的旋转，它包括一个基本单元，第一臂通过肘关节连接到第二臂，在第二臂末端有一个腕关节，该腕关节具有一个夹持单元，用于夹持摄像机和投影仪组件。尽管机械臂允许5个维度，但是它的移动在控制界面的投影只能是两个维度，为了匹配，我们把机械臂的维度缩小到了2个维度，从而减轻协助人员的负担。从我们的实验能够看出来，即使减少了自由度，也能够有很好的效果。此外，我们还添加了“书签”，协助人员可以随时在一个视图上添加书签，后面再选中这个书签，机械臂就会回到这个位置。

3.主动跟踪投影空间

TeleAdvisor被设计成可移动的。TeleAdvisor的相机可以在协助人员的控制下随意移动，这就带来了一个困难，即如何可靠的推导出相机和投影空间的相关性。因为相机和投影仪之间有距离，所以会产生视差，这会导致投影注释不准确。如果是一个静态的场景，这个很容易解决，校准一次就可以了，但是在动态场景下就很困难，因为相机和物体表面的距离是在不断变化的。而且物体表面是不平滑的，也会引起变形。

为了解决这个问题，我们主动追踪有效投影区域，投影仪投射出一个绿色边框，系统追踪这个边框。我们使用OpenCV的原语创造一个鲁棒且容错率高的检测算法。为了减轻由于扫描异化所引起的激光闪烁，我们平均返回3个图像帧。同时使用一些滤波器来消除一些用不到的信息，首先移除噪声边缘，然后只保留至少半个边框大小的线。第二，检验空间分离准则，四个角点尽可能分离。第三，用中值滤波消除噪点。在检测出边框以后，反转然后发送到远程端。协助人员添加注释。
另一种变形是因为3D物体的高度引起的，目前没有自动解决办法，然而，在实验中，我们发现这种变形非常小，不会超过几毫米，影响不大。未来的解决办法将会考虑到物体的深度信息。

四、初始评估

这一部分主要是描述了作者找几个人对这个系统进行评估，大家都很满意这种方式。

五、结论

许多远程协作任务需要工作空间的灵活性和可移动性。我们的这项工作表明了创建一种有效支持远程手势的工具是可能的，而且这种工具便于携带并且功能强大。我们未来的工作可能会着眼于使用计算机视觉技术将注释锚定到特定位置，从而允许对象或设备移动，同时将注释保持在相同的相对位置。