选择稀疏控制点的多标记点云标注

选择稀疏控制点的多标记点云标注

摘要

本文提出了细粒度的点云标注一个用户友好的方式。该方法要求用户通过鼠标接口选择属于对象的稀疏控制点。可以将多个控制点分配给相同的标签。该软件利用所选的控制点，在最短路径树上进行邻域图的分割算法。用户提供了对结果的实时反馈，并且可以纠正切分错误。与以前的工作相比，该方法支持散乱点云的多标签标注。该方法已被多个用户评估，并与标准的基于矩形的选择技术进行了比较。结果表明，所提出的方法被认为更容易使用，它允许更快的分割，即使在复杂的情况下，闭塞。

简介

带注释的数据集在三维视觉研究中变得越来越重要。例如，用带注释的3D数据作为地面真实度来评估自动分割算法。注释还可以支持数据关联和检索。此外，机器学习的最新趋势（如深度学习）需要大量的标记数据来训练。对二维图像进行数据注释是人类的一项费时费力的任务。三维数据的注释，如散乱的点云，更麻烦，因为它需要处理卷的选择和可视化问题。

Figure 1. The RViz-based interface of the annotation tool.
本文提出了一种支持散乱点云的多标记三维数据标注方法。在该方法中，用户在点云上选择稀疏的“控制点”。同一个对象上的多个控制点可以被选择并关联到同一个标签。可以定义任意数量的标签。选定的控制点作为输入用于自动点云分割算法。特别是，应用最短路径树算法将点云中的每个非选择点分配给最近的控制点。分割算法在最近邻图上操作，由点相异加权。已经实现了许多优化，以利用注释过程的增量性质来实现实时性能。开发了一个交互式的基于鼠标的用户界面来评估所提出的方法。应用程序是在顶部的rviz可视化工具[ 8 ]的ROS（机器人开发的操作系统）的中间件。图1显示了图形用户界面的图片。该工具已作为[ 11 ]中的开源发布。
用法线对彩色点云进行了实验。虽然没有必要，但颜色和法线向量的信息被用来计算点之间更精确的距离函数。开发的用户界面由多个用户评估。结果表明，所提出的注释方法比标准技术更简单，速度更快，用于许多三维软件工具中，需要分割的对象的所有点都通过在屏幕上拖动二维矩形来迭代选择。事实上，在我们的方法中，用户只需要选择属于对象的一些可见点进行分割，直到他/她对分割结果满意为止。
本文的结构如下。第2节讨论三维数据注释的最新进展。第3节描述了所建议的方法，而第4节说明了开发工具的用户界面。第5节报告实验结果。第6节结束了这项工作。

相关的工作

有组织的点云，如距离相机获得的点云，可以比无组织点云更容易注释，因为它们可以投射到传感器图像帧上。rgbd图像的注释是由罗素等人的工作考虑。[ 12 ]，LabelMe在线标注工具[扩展] 13。然而，注释还对范围图像采用折线选择技术。在[ 17 ]，对rgbd图像注释推断场景的三维结构，通过结构和几何上标注会议获悉的先验知识辅助。在[ 14 ]交互式语义建模方法对室内场景提出了rgbd图像。在[ 18 ]中，提出了一个三维重建和标记工具，其中注释标签从一帧传输到另一帧。以前引用的方法都不适合散乱点云。
在其他作品中二维选择集扩展到三维，三维选择策略已在文献中提出的离散对象的bacim等人讨论。[ 1 ]。在[ 19 ]中开发了两种空间结构感知选择技术。这些技术只需要用户绘制套索，即围绕3D点云重要部分的二维投影的循环。虽然有效，这种选择算法是相当复杂的，不实时工作。许多作者研究了使用3D接口进行选择。科菲等人。[ 5 ]提出了一个利用触摸接口支持数据子集选择的虚拟现实系统。在3dui竞赛部分，几个解决方案[ 2, 10 ]提出了基于虚拟现实和手势。在[ 15 ]中，预选阶段允许在3D环境中更容易地导航。然后，实现一个3D指针来执行实际选择。3D用户界面的一个缺点是，它们通常需要非标准的3D硬件，这可能需要额外的训练。此外，选择使用先进的3D接口可能会让用户感到疲劳。
博伊科等人也研究了大规模辅助注释的机器学习技术。在[ 4, 3 ]。该方法假定点云由许多相似的对象组成，这些对象的形状是由系统学习的。

图2。邻域图的注释实例。虚拟点以浅灰色显示，并连接到所有控制点（虚线弧）。
我们在[ 7 ]中提出了类似的方法，其中控制点被命名为“约束”。约束用于在点云上执行最小割算法，以将前景对象与背景分离。同样，在[ 9 ]中引入了用户绘制笔画的最小割算法。然而，虽然有效的分割单个对象从背景，最小割算法不适合分割任意数量的对象在一个场景中。

方法

在该方法中，首先生成点云中最近点的最近邻图。然后，给定一组选定的控制点，计算出最短路径树，将点云分割成段。所有控制点连接到一个虚拟节点R，它作为最短路径树的根。每个控制点都是虚拟节点子树的根。子树中的点共享相同的标签，这是根控件点的标签。多个控制点可能具有相同的标签。给定足够的控制点，场景中的对象可以被正确分割。
图2中示出了一个注释示例。控制点由较大的节点显示，并连接到虚拟节点（以浅灰色显示）。每个节点获取最短路径树中可达的最近控制点的标号（颜色）。在报道的例子，两个控制点具有相同的绿色标签，因此，在子树的所有点都具有相同的标签。
的详细介绍，给出了点云的C和一组用户选定的控制点CP⊂C，算法的目标是将李的每一点每一点我2 C标签的位置矢量PI的描述，一个RGB颜色词和法向量镍。位置pi是强制性的，颜色和法向量是可选的。一个标签LJ是分配给每个控制点J 2 CP。此外，子树标记李，其中包含子树根（即控制点）的索引，被分配到点云的每一个点。然后，一点全局标签计算Lli李。

图3 控制点选择与最短路径树计算的点云标注实例。全球标签颜色对应的李。
当首先加载点云时，生成无向邻域图。特别是，每一点我都与它的最近邻联系，它定义了邻居集ni。根据这个定义，如果点i有邻居点j 2 ni，就会发生i to nj。在这些情况下，通过将i添加到Nj来确保图的对称性。

其中（αp，αn，αc）是位置、法线和颜色属性的常数权重参数。权重越高，分割越受相应属性的影响。例如，如果将高权重分配给颜色，则分段边界将跟随颜色不连续性。αn和αc是无量纲的，αp应根据点云的尺度来设置。边缘成本是对称的，即他= HJI。此外，除非有重复点，边缘成本总是正值。
最短路径树是建立从图采用统一成本搜索（Dijkstra算法的变体）。最大路径长度ΩMax是强加的，所以进一步的点留下标记。当控制点A被添加或移除时，j只指向

可以改变标签，甚至假设均匀的颜色和正常（根据公式1）。最大路径长度只为保证用户选择的局部性和防止标签在太大距离上的变化而增加。特别是，第一个控制点的选择不会马上标记整个点云。因此，Ω最大值被设置为与αC和αn可比的参数，以防止对标注辅助作用。为了有用，它也应该低于αPW，其中w是点云的最大尺寸。

方程1取决于点位置，它来自噪声影响的传感器。此外，如前所述，树的大小是由Ωmax参数约束。因此，在实践中，存在多个最短路径到同一点是不可能的，即最短路径树是唯一的，由于最短路径树是由李定义的CP和标签，所以注释不受控制点处理顺序的影响。
每一次添加或删除一个新的控制点时，这一节中描述的过程都是增量执行的，详见第3.1和3.2节。
3.1
当添加控制点a时，创建一个零成本的边缘耳，将新的控制点连接到虚拟节点r！归零。因为一个新的子树已经建立了控制点的标签设置为LA然后均匀的搜索在邻域图进行（如ALG。1），与起始节点存储在集合S的标签传播算法（8行）和停机成本超过Ω最大（7行）。
该算法对标签的所有，只为根的子树的控制点的点，如下面的命题所示，在先端0标记的当前迭代后的状态，Pij是从i到j和jpijj路径是路径长度。

命题1。如果我被标记为一个由ALG。1，然后最短路径PIR我根R包含A.
证明。ALG。1只更新一点！我0 <！I（第7行）。如果这种情况发生，新的路径PIR 0包括新的边缘命题2。当控制点的增加，如果最短路径优先级0点我以前标签B包含一个，然后我的标签是由ALG。1。

3.2控制点的去除
当控制点A被移除时，访问一个根的子树（算法2）。子树中所有点的标签都被清除（第8行），它们的成本被设置为无限（第9行）。
相邻点j2ni标签LJ6 =一个没去过，但他们都存储在集合S（13号线）。这些分属于其他子树，然后可在新标签的空间拓展。然后，ALG。1使用s中的点作为输入执行。
命题3。给定一个点我打成，它达到了ALG。2当控制点A被移除时。

证明。所有的J点最短路径排标记为如果我是标记为A否则，如果J是标记为B，就一路jpbij PBI与<< jpaij存在，取代Paj王子在拜县。因此，至少存在路径排为ALG。2清理我。
命题4。当控制点被删除，给出一点我先前标记为A，如果新的最短路径PIR 0包含控制点B，和PIR 0小于Ω最大，然后通过执行算法。1我是重新标记为B。

4用户界面

一个软件工具，实现所提出的标注方法是在顶部的ROS框架的rviz可视化程序开发。图1所示的用户界面包括两个主要元素：一个工具面板和一个交互式3D点云查看器。ROS节点在后台更新软件状态并管理用户界面生成的所有事件。特别是，鼠标事件的处理rviz互动标记。
在3D点云查看器中，每一个点i被渲染为一个正方形，带有颜色CI，它包含一个较小的正方形颜色作为点标签（图4）。这可以同时显示两个点的颜色和它们的标签。控制点被渲染为球体。用户可以通过点击它们的正方形或控制点上的点来与点云的单点交互。点云可以使用标准的rviz 3D导航导航。

注释面板（图6）是一个rviz面板插件。菜单允许保存和加载注释。标签选择按钮允许选择当前标签李。每个按钮都有不同的颜色，其中的数字表示关联控件点的值。标签的颜色是由glasbeylut [ 6 ]查找表中包含的点云图书馆。子树标签是自动生成的，用户不可见。只有数量有限的标签可以在标签选择区域中即时显示。目前lcurr标签和标签标注面板目前可见的范围也显示。动作选择按钮用于指定鼠标点击点云时要执行的操作：无需任何操作，设置添加控制点，del删除控制点，选择将当前标签设置为单击点之一。因此，可以通过按下标签部分按钮或选择先前标记的点来指定当前标签。
选择的工具按钮是用来指定选择方法：对所提出的控制点的选择点，表面直接与标准的矩形选择深矩形。矩形选择是通过拖动鼠标在屏幕上进行的（图5）。特别是，表面矩形选择只有在矩形的可见的点，而深矩形选择所有点的投影落在矩形。用户可以执行撤消/重做操作。用户也可以增加和减少的大小，为正确选择表面是最有用的。如果点的大小太小，点之间的差距可能会导致不必要的选择背景部分。


使用切换可视化按钮，可以更改点呈现模式。例如，若取消云按钮，每点呈现其方以其标签的颜色填充（图4，右）。在这种模式下，未标记的点出现黑色。用户可以使用此功能检测分割错误。最后，用户可以通过在标签描述文本框中键入一个描述性的文本到当前的标签。

实验结果

在用户研究中对所提出的方法进行了评价。十个人被要求对图7所示的两个桌面场景进行注释。每个用户对两个场景进行两次注释，使用所提出的控制点选择（CP）方法，并使用矩形选择（RS）技术，以随机顺序进行。在每次试验中，参与者被指示对相同的四个物体进行注释。
在第一种情况下，rgbd数据采用华硕Xtion PRO现场传感器获得的，而在第二种情况数据通过Kinect V2传感器获得。运用elasticfusion三维重建算法[ 16 ]得到输入的点云。elasticfusion提供位置、正常和RGB每个点的颜色信息。完整的三维重建是裁切手动箱体积，减小尺寸。得到的点云分别为150868和124966点。表1报告了在实验中使用的第3节中定义的参数的数值。大学生中招募了用户。他们不熟悉范围感测和分割任务。大多数用户以前都有在3D空间中导航接口的经验。
每个用户在测试点云上执行大约30分钟的初始训练会话，以学习这两种注释策略。在训练过程中，参与者得到了一些提示。特别是，对于RS技术，用户显示了如何改变点大小以缩小表面间隙。对于CP注释方法，用户被指示为背景选择一个标签，并在对象和背景之间放置控制点，以改进注释。用户不应试图利用最大路径长度（公式2）使背景未标记。特别是，建议用户在标注对象之前先在背景上放置至少几个控制点（图8）。事实上，即使将控制点放在对象上，然后放在背景上，导致相同的结果（如图9所示），它可能会引起由于标签扩散到对象而引起的混乱。

对遥感技术的参与者被允许使用表面直接选择以及深刻的正确选择。用户每次试验的时限为10分钟。用户可以在时限前免费试用。表2和3报告标准偏差的平均结果。统计的意义已由标准相关t检验评估在“P 0:05”栏目报道。可以注意到，当使用所提出的控制点注释方法时，参与者的速度明显快。用户放在第一个场景平均26:5±14:9控制点和31:0±11:0的第二场景。在1场景中，撤销操作的数量差异也很显著。事实上，用户使用控制点注释技术执行更多的撤销操作，以消除错误的控制点。相反，在不正确的矩形选择的情况下，用户通常选择优化注释而不是撤消整个操作。
错误评分进行比较的结果与地面真相分割计算，这是由CS和RS.两地真相注释相差860专家用户提供（方案1）和674（方案2）点标签分别。错误分数计算与地面真实注释有关的具有不同标签的点的数量，包括带有空标签的点。背景标签被认为等同于空标签。结果表明，控制点法的误差显著降低。

缺了点可以由表面矩形工具造成的，而不选择在可见的表面点。相反，在CP模式下，被邻域图连接的阻塞点被选择并包含在控制点的子树中。图11说明了在标记对象内出现（黑色）缺失点的问题。
杂散点也可能影响CP方法，当控制点意外地选择通过可见表面的间隙时。然而，在这种情况下，对整个分割的影响是显而易见的，用户立即纠正它们。发现控制点的困难已被报告。一些用户还通过单击属于子树的任意点来删除控件点的特性。
用户还被要求在会议结束时回答问卷，以对注释方法进行定性评价。参与者的问题，从0到10在Likert量表（0为最低，10为最高）对于易学、易用、（感知）效率、（知觉）的有效性，以及全球评级。调查表的结果汇总在表4中。大多数指标在统计上有显著性，有利于建议的CP方法。无显着差异，在易学性，值得注意的是由于矩形选择是许多应用软件标准的选择方法。因此，可以得出结论，我们的方法是直观的，开发的用户界面易于使用。一些与会者建议在矩形选区的变化，如用折线代替矩形形状的能力。此外，还要求一种“更聪明”的RS解决方案，能够通过一些启发式方法自动地选择略低于地表的点。

表5显示了底层算法的平均执行时间，场景1（150868分）。实验是在40 GHz的英特尔酷睿i7 4770执行。邻域图构造是最昂贵的操作，但是它只执行一次。对于测试中使用的点云，内存使用量大约是150 MB。使用均匀成本搜索从控制点计算注释需要90个控制点的41毫秒。随着控制点数量的增加，用户可能会注意到延迟。如第3.1节和第3.2节所述，单个控制点的添加和移除更有效率。

6结论

提出了一种新的散乱点云多标签标注方法。用户通过标准的基于鼠标的界面选择控制点。选定的控制点作为输入，用于帮助注释过程的自动分割算法。该方法已被多个用户评估，这些用户被要求在两种不同的桌面场景中对对象进行注释。通过使用带注释的地面真实数据集，将该方法与标准矩形选择技术进行了比较。在使用开发的注释工具时，用户对他们的经验提供了更积极的反馈。
在我们未来的工作中，我们将研究允许用户提供交互式控制分割算法参数的可能性，该算法在被报道的实验中被固定到恒定值（表1）。此外，将适用于协作注释所提出的方法的探索。事实上，我们希望调查控制点的使用是否可以减少在不同场景工作的用户之间的意外干扰。潜在的ROS框架的分布式体系结构可能被用于此目的。
当前实现既需要点云也需要邻域图，以同时适合于内存。对于较大的数据集，这可能是不可行的。因此，为了处理较大的点云，可以利用邻域图的局部性。

致谢

导致本文的结果的研究已从欧盟获得了资金，第七框架计划（FP7 / 2007-2013年）610532赠款协议号下（松鼠）。
[1] F. Bacim, R. Kopper, and D. A. Bowman. Design and evaluation of 3D selection techniques based on progressive refinement. International Journal of Human-Computer Studies,
71(78):785–802, 2013. 2
[2] F. Bacim, M. Nabiyouni, and D. A. Bowman. Slice-n-Swipe:
A free-hand gesture user interface for 3D point cloud annotation. In IEEE Symposium on 3D User Interfaces (3DUI),
pages 185–186, March 2014. 2
[3] A. Boyko. Efficient Interfaces for Accurate Annotation of 3D
Point Clouds. PhD thesis, Princeton University, Feb. 2015. 2
[4] A. Boyko and T. Funkhouser. Cheaper by the dozen: Group
annotation of 3d data. In Proceedings of the 27th Annual
ACM Symposium on User Interface Software and Technology
(UIST), pages 33–42, New York, NY, USA, 2014. 2
[5] D. Coffey, N. Malbraaten, T. Le, I. Borazjani, F. Sotiropoulos, A. G. Erdman, and D. F. Keefe. Interactive Slice WIM:
Navigating and interrogating volume data sets using a multisurface, multitouch VR interface. IEEE Transactions on
Visualization and Computer Graphics, 18(10):1614–1626,
Oct. 2012. 2
[6] C. Glasbey, G. van der Heijden, V. F. K. Toh, and A. Gray.
Colour displays for categorical images. Color Research &
Application, 32(4):304–309, 2007. 5
[7] A. Golovinskiy and T. Funkhouser. Min-cut based segmentation of point clouds. In IEEE 12th International Conference
on Computer Vision Workshops, ICCV Workshops, pages 39–
46, Sept 2009. 2
[8] D. Hershberger, D. Gossow, and J. Faust. RViz, 3D visualization tool for ROS. URL: http://wiki.ros.org/rviz. 1
[9] K. Liu and J. Boehm. A new framework for interactive segmentation of point clouds. ISPRS - International Archives of
the Photogrammetry, Remote Sensing and Spatial Information Sciences, XL-5:357–362, 2014. 2
[10] P. Lubos, R. Beimler, M. Lammers, and F. Steinicke. Touching the Cloud: Bimanual annotation of immersive point
clouds. In IEEE Symposium on 3D User Interfaces (3DUI),
pages 191–192, March 2014. 2
[11] R. Monica. RViz Cloud Annotation Tool. URL: https://
github.com/RMonica/rviz cloud annotation. 1
[12] B. C. Russell and A. Torralba. Building a database of 3D
scenes from user annotations. In IEEE Conference on Computer Vision and Pattern Recognition, pages 2711–2718,
June 2009. 2
[13] B. C. Russell, A. Torralba, K. P. Murphy, and W. T. Freeman.
LabelMe: a database and web-based tool for image annotation. International Journal of Computer Vision, 77(1):157–
173, 2008. 2
[14] T. Shao, W. Xu, K. Zhou, J. Wang, D. Li, and B. Guo. An
interactive approach to semantic modeling of indoor scenes
with an RGBD camera. ACM Trans. Graph., 31(6):136:1–
136:11, Nov. 2012. 2
[15] M. Veit and A. Capobianco. Go’Then’Tag: A 3-D point
cloud annotation technique. In IEEE Symposium on 3D User
Interfaces (3DUI), pages 193–194, March 2014. 2
[16] T. Whelan, S. Leutenegger, R. S. Moreno, B. Glocker, and
A. Davison. Elasticfusion: Dense SLAM without a pose
graph. In Proceedings of Robotics: Science and Systems,
Rome, Italy, July 2015. 6
[17] Y.-S. Wong, H.-K. Chu, and N. J. Mitra. SmartAnnotator an
interactive tool for annotating indoor RGBD images. Computer Graphics Forum, 34(2):447–457, 2015. 2
[18] J. Xiao, A. Owens, and A. Torralba. SUN3D: A database
of big spaces reconstructed using SfM and object labels. In
IEEE International Conference on Computer Vision, pages
1625–1632, Dec 2013. 2
[19] L. Yu, K. Efstathiou, P. Isenberg, and T. Isenberg. Efficient
structure-aware selection techniques for 3D point cloud visualizations with 2DOF input. IEEE Transactions on Visualization and Computer Graphics, 18(12):2245–2254, Dec
2012. 2