论文阅读“Adaptive Automatic Robot Tool Path Generation Based on Point Cloud Projection Algorithm”

Based on Point Cloud Projection Algorithm)

题目

基于点云投影算法的自适应机器人刀具路径自动生成

作者

1.摘要

计算机辅助设计（CAD）文件对于工程师设计机器人刀具路径可能不可用或不准确。因此，我们提出了一种利用目标试片的扫描点云数据自动生成制造过程自适应机器人刀具路径的方法。其核心算法是基于点云平面投影、刀轨图案设计和反变换矩阵，将二维刀轨投影回三维点云。该算法基于点云库（PCL）和OpenCV库。在点云中生成刀具轨迹后，使用机器人操作系统（ROS）规划轨迹并检查碰撞。

本文提出了一种基于点云投影法的自适应自动刀具轨迹生成算法。针对不同类型的制造工艺设计了不同的刀具轨迹模式。然后，在ROS中进行刀具轨迹仿真，以评估刀具轨迹规划和碰撞避免。最后，作者评估了刀具路径生成算法在实际工业试片上针对特定工业过程的性能。

2.问题

大多数高混合和小批量的制造过程仍然是手工完成的，这是昂贵和低效的。此外，CAD文件可能不准确或无法协助制造。随着扫描技术的进步，用户可以使用扫描仪获取优惠券的准确模型。如果在转换为机器人脚本执行之前，直接在扫描数据上设计机器人的刀具路径，可以大大简化制造过程。在此基础上，提出了一种基于扫描数据的自适应机器人刀具轨迹自动生成方法。这种方法可以帮助制造商实现生产过程的自动化，并提高对特定客户需求的响应能力。

3.方法

首先，用户需要扫描目标，得到点云表示和重建。其次，采用基于PCL和OpenCV库的自适应刀具路径生成算法对点云进行分析，在点云表面生成刀具路径。最后，通过中间件ROS将刀具路径点坐标和刀具角度传递给机器人执行。方法的细节将在下一节中描述。

3.1 方法流程

图1显示了整个系统设计和控制流程。GUI将触发扫描仪，用户可以将扫描仪放在优惠券周围完成扫描。背景库将过滤掉扫描噪声并平滑表面和边界。利用变换矩阵将点云坐标转换为机器人坐标系。然后，将包含点云坐标和法线的文件(OBJ或STL文件)传输到刀具路径生成算法中，分别基于PCL和OpenCV进行分割和投影。然后用户可以为特定的精加工过程选择所需的刀具路径模式。之后，将刀具路径投影回点云，并将包含实际路径点坐标和旋转角度的文件传递给ROS进行轨迹规划和碰撞检测。在ROS中，轨迹规划和仿真分别基于笛卡尔轨迹规划和Rviz[28]。最后，将无碰撞的刀具路径转换为机器人脚本，并计算不同的关节值以供机器人执行

3.2 路径规划算法

刀具轨迹生成算法包括分割、点云投影、刀具轨迹生成和刀具旋转计算等功能。图2给出了刀具路径生成算法的流程图。第一步是将优惠券点云数据分离成不同的基于平滑度和曲率分段。识别出不同的特征，用户可以选择下一步要处理的特征。其次，将选定的点云特征数据投影到图像上。建立了图像坐标系与点云坐标系之间的矩阵变换。然后，用户可以根据制造工艺类型选择刀具路径模式。在现有系统中，刀轨模式包括用于表面加工的螺旋刀轨、用于表面加工的轮廓刀轨、用于旋转表面的子午线刀轨、用于边界加工的边界刀轨和用于表面加工的之字形刀轨。根据用户的选择，将图像上的刀具路径投影回具有路径点坐标和相应法线方向的点云。接下来，法向通过旋转矩阵转换为工具角度Rx, Ry, Rz。刀具路径是自适应的刀具类型和关键参数变量(kpi)。最后，以ROS为平台在真实机器人上进行仿真和执行。在这个演示中，我们使用通用机器人10 (UR10)进行表面掩蔽。

3.3 点云分割

点云分割是根据点云中识别的表面特征对点数据进行分组。这些段被编号以供用户识别。基于PCL区域增长法[29]，通过比较平滑度和曲率对点云进行分割。用户可以通过在GUI中指示特征编号来选择要处理的特征。通过k-最近邻(KNN)搜索方法估计点的法线，通过搜索相邻点得到平均法线[30]。由于刀具路径是在被分割的点云上形成的，因此精确的分割尤为重要。必须满足一定的点云密度，才能达到良好的分割效果。
图3和图4分别为圆顶形状优惠券和曲线斜坡形状优惠券的分割结果。不同的特征用不同的颜色表现出来。每一项功能都有一个独一无二的编号。在接下来的章节中，圆顶形状的优惠券将用于演示刀具路径生成算法。

3.4 点云投影

选择的线段基于OpenCV投影到一个平面上，生成二值图像。在图5中，顶部圆顶形状表面被投影到底部平面，在图像上形成一个白色的圆。然后利用OpenCV中的侵蚀和膨胀形态算子将边界与表面分离，去除噪声[31]。

如果优惠券中有洞或驼峰，这种方法也能在图像上定位它们。根据343边界信息，用户还可以将边界分割成若干段，分别进行边界平滑，避免平滑角。该方法的局限性是一个投影点只能映射到点云上的一个点。如果在投影图像上有多个点重叠，算法无法找到唯一的反投影。点云投影到图像后，在二维图像上设计图案，然后投影回三维点云，如图6所示。这个图案是一个简化的之字形图案。
图像的优点是像素在垂直和水平方向上都是非常对齐和组织的。根据形态算子的提取结果，将像素投影回对应的点云。在投影图像上设计刀具轨迹，利用反投影矩阵在联副点云上查找实际刀具轨迹，特别是当联副点云上有孔或驼峰时，可以节省时间和精力

3.5 工具模式设计

在现有系统中，开发了边界刀轨、螺旋刀轨、轮廓平行刀轨、子午线刀轨和锯齿形刀轨五种刀轨模式。法向是通过在点云中找到最近的法向点来计算的。采用卡尔曼滤波对法线进行平滑处理，滤除噪声法线[32]。边界工具路径可用于去毛刺、去除毛边等。而螺旋形、轮廓平行、锯齿形的刀具路径可用于抛光、掩蔽、铣削、喷漆等。对于子午线刀轨，它适用于铣削、掩模等需要绕固定轴一致性的加工过程。

1.边界刀具轨迹

如图7所示，红色的圆点为顶球表面边界制造加工的设计刀具轨迹。每个路径点的法线方向可以被视为白色箭头，指向内部。点云数据包含了扫描器引起的噪声，然而，刀具路径看起来仍然一致和平滑。

2.螺旋刀具轨迹

图8演示了顶部圆顶表面的螺旋刀具路径。工具路径从中心点发出，并围绕中心点不断增加距离。沿着刀具路径点将刀具方向标记为白色箭头。用户可以调节侧步距和前步距。

3. 轮廓parellel刀具轨迹

轮廓偏置平行刀轨与螺旋刀轨略有不同。刀具轨迹是通过对边界轮廓进行等距偏移生成的，如图9所示。每个等高线偏移路径是相互平行的。

3.曲折的路径

子午线刀具轨迹是为旋转副设计的，理想的是在加工时安装和旋转在主轴上。由于挂片是旋转的实体，因此在进行表面精加工时，可以将刀轨简化为旋转挂片的旋转子午线。图11描述了圆柱形齿钩的工具路径。红点表示沿圆柱表面子午线的直线路径点。如图12所示，当工具沿着旋转的优惠券前进时，会产生螺旋进给。

3.6 工艺参数

刀具轨迹可通过多个工艺参数进行调整，包括步进尺寸、路径点步进尺寸、刀具倾角、刀具类型、刀具尺寸、切削深度、刀具轨迹模式、进给速度、主轴转速。所有kpv都存储在数据库中，可以从服务器检索kpv组合，以生成最大的输出质量。子午线刀轨与夹头刀轨同步时，还应考虑夹头的旋转速度。

3.7 笛卡尔轨迹规划和ROS Rviz仿真

本文的轨迹规划和碰撞检测是基于笛卡尔和MoveIt!库[33]。它可以从刀具路径生成算法中检测路径点坐标和刀具角度。每个路点代表机器人具有特定关节值的一个姿态。计算并分析了从位姿到位姿的最优路径，以保证机器人在执行运动时不发生碰撞。如图13所示，在ROS Rviz中模拟了圆顶顶面的锯齿形刀具路径。挂片关节顶部的三维轴以黄色轨迹轨迹描述了工具末端执行器的框架和路径。蓝色的z轴与表面法向对齐，这意味着工具末端执行器垂直于优惠券表面。在接触过程中，如磨削和抛光过程中，遵循优惠券轮廓是特别重要的。

结果

在本节中，作者对液体掩蔽工艺的工具路径生成算法进行了实际工业券的测试。液体掩蔽是将液体质量从喷嘴漏斗尖端喷射出来的非接触过程。然后用烤箱、强制空气、热板或紫外光固化口罩。掩蔽工艺用于防止表面被电镀、喷漆、镀镍、镀铬、阳极氧化等其他表面处理。在此过程中，定位精度和刀具方向至关重要。测试结果如下所示。
图17演示了圆顶形状自由曲面上的自动刀具路径生成。该算法从点云分析到点云上的刀具路径生成仅需5 ~ 10分钟。包括扫描过程，整个过程大约需要25分钟。自动生成工具路径的效率远远高于手动教学机器人或手动掩蔽，这可能需要几个小时到一天的时间。自动掩蔽可以节省大量的时间和成本，特别是当金属件是复杂的。
由于校准、扫描数据质量和分辨率的影响，刀具路径的精度在0.3mm-0.6mm之间变化。精度可满足蒙版、喷漆、抛光等应用。

引用

[1] Besari, A. R. A., Prabuwono, A. S., Zamri, R., & Palil, M. D. M.,
“Computer vision approach for robotic polishing application using
artificial neural networks, 2010 IEEE Student Conference on Research
and Development (SCOReD), pp. 281-286, 2010, December.
[2] Lim, S., Buswell, R. A., Valentine, P. J., Piker, D., Austin, S. A., & De
Kestelier, X., “Modelling curved-layered printing paths for fabricating
large-scale construction components,” Additive Manufacturing, vol.
12, 2016, pp. 216-230.
[3] Bahrin, M. A. K., Othman, M. F., Azli, N. H. N., & Talib, M. F.,
“Industry 4.0: A review on industrial automation and robotic,” Jurnal
Teknologi, vol. 78, 2016, pp. 6-13.
[4] Dhanda, Mandeep, and S. S. Pande. “Adaptive Tool Path Planning
Strategy for Freeform Surface Machining using Point Cloud.”, 2019.
[5] Muhovič, Jon, Borja Bovcon, Matej Kristan, and Janez Perš. “Obstacle
Tracking for Unmanned Surface Vessels Using 3-D Point
Cloud.” IEEE Journal of Oceanic Engineering, 2019.
[6] Xu, J., Xu, L., Sun, Y., Lee, Y. S., & Zhao, J… “A method of generating
spiral tool path for direct 3-axis CNC machining of measured cloud of
point.” Journal of Computing and Information Science in Engineering,
2019, pp. 1-19.
[7] Kobbelt, Leif, and Mario Botsch. “A survey of point-based techniques
in computer graphics.” Computers & Graphics, vol. 28, no. 6, 2004, pp.
801-814.
[8] Princely, F.L. and Selvaraj, T., “Vision assisted robotic deburring of
edge burrs in cast parts,” Procedia Engineering, vol. 97, pp.1906-1914,
2014 January.
[9] Tsai, Ming-June, J. J. Fang, and Jau-Lung Chang. “Robotic path
planning for an automatic mold polishing system.” International
Journal of Robotics and Automation, vol. 19, no. 2, 2004, pp 81-90.
[10] Y.C. Chen, Robotic polishing path planning for dies & mold for free
form surface, master’s thesis, National Cheng-kung University, 1998.
[11] Lasemi, Ali, Deyi Xue, and Peihua Gu. “Recent development in CNC
machining of freeform surfaces: a state-of-the-art review,” Computer-
Aided Design, vol. 42, no. 7, 2010, pp, 641-654.
[12] Cox JJ, Takezaki Y, Ferguson HRP, Kohkonen KE, Mulkay EL.
“Spacefilling curves in tool-path applications. Computer-Aided
Design,” vol. 26, no. 3, 1994, pp. 215–24.
[13] Anotaipaiboon W, Makhanov SS. “Curvilinear space-filling curves for
five-axismachining. Computer-Aided Design,” vol. 40, no 3, 2008, pp.
350–67.
[14] Han ZL, Yang DCH. “Iso-phote based tool-path generation for
machining freeform surfaces,” Journal of Manufacturing Science and
Engineering, ASME Transactions, vol. 121, no.4, 1999, pp. 656–64.
[15] Lin RS, Koren Y. “Efficient tool-path planning for machining free-
form surfaces,” Journal of Engineering for Industry, ASME
Transactions 1996, vol. 118, no.1, pp. 20–8.
[16] Jensen CG. “Analysis and synthesis of multi-axis sculptured surface
machining,” Doctoral dissertation. Purdue University, 1993.
[17] Han ZL, Yang DCH. “Iso-phote based tool-path generation for
machining freeform surfaces,” Journal of Manufacturing Science and
Engineering, ASME Transactions, vol. 121, no.4, 1999, pp. 656–64.
[18] Yin Z. “Adaptive tool path generation from measured data,”
Proceedings of the Institution of Mechanical Engineers - Part B:
Engineering Manufacture, vol. 218, no.1, 2004, pp.103–11.
[19] Elber G. “Freeform surface region optimization for 3-axis and 5-axis
milling,” Computer-Aided Design, vol. 27, no.6, 1995, pp. 465–70.
[20] Lu J, Cheatham R, Jensen CG, Chen Y, Bowman B. “A three-
dimensional configuration-space method for 5-axis tessellated surface
machining,” International Journal of Computer Integrated
Manufacturing, vol. 21, no. 5, 2008, pp. 550–68
[21] Park SC, Chung YC. “Tool-path generation from measured data.
ComputerAided Design,” vol. 35, no.5, 2003, pp. 467–75.
[22] Yang DCH, Chuang JJ, Han Z, Ding S. “Boundary-conformed toolpath
generation for trimmed free-form surfaces via Coons
reparametrization,” Journal of Materials Processing Technology, vol.
138, 2003, pp. 138–44.
[23] Heping Chen, T. Fuhlbrigge and Xiongzi Li, “Automated industrial
robot path planning for spray painting process: A review,” 2008 IEEE
International Conference on Automation Science and Engineering,
Arlington, VA, 2008, pp. 522-527.
[24] Robotics, A. B. B., Operating Manual RobotStudio. Västerås, Sweden,

[25] Hashimoto, M. and Nakamoto, K., “A Neural Network Based Process
Planning System to Infer Tool Path Pattern for Complicated Surface
Machining,” International Journal of Automation Technology, vol. 13,
no.1, 2019, pp.67-73.
[26] Payne, A., “A five-axis robotic motion controller for designers,” Proc.
31st Conference, Association for Computer-Aided Design in
Architecture, , pp. 162-169, 2011, October.
[27] Rüßmann, M., Lorenz, M., Gerbert, P., Waldner, M., Justus, J., Engel,
P. and Harnisch, M., “Industry 4.0: The future of productivity and
growth in manufacturing industries”. Boston Consulting Group, vol. 9,
no.1, 2015, pp.54-89.
[28] ROS Wiki, Rviz Package. [online], 2012. Available at:http://wiki.ros.
org/rviz [Accessed 26 Feb. 2019].
[29] Zhu, S.C. and Yuille, “A., Region competition: Unifying snakes, region
growing, and Bayes/MDL for multiband image segmentation,” IEEE
Transactions on Pattern Analysis & Machine Intelligence, vol. 9, 1996,
pp.884-900.
[30] Documentation - Point Cloud Library (PCL), Kd Tree Search Method.
[online], 2017. Available at: http://pointclouds.org/documentation/
tutorials/kdtree_search.php [Accessed 26 Feb. 2019].
[31] I. Culjak, D. Abram, T. Pribanic, H. Dzapo and M. Cifrek, “A brief
introduction to OpenCV,” 2012 Proceedings of the 35th International
Convention MIPRO, Opatija, 2012, pp. 1725-1730.
[32] Frühwirth R. “Application of Kalman filtering to track and vertex
fitting. Nuclear Instruments and Methods in Physics Research Section
A: Accelerators, Spectrometers,” Detectors and Associated Equipment,
vol. 262, no, 2, 1987 December 15, pp. 444-50.
[33] Nicho, J., Meyer, J. and Edwards, S., “Descartes_planner” [online],
2015 ROS Wiki. Available at: http://wiki.ros.org/descartes_planner
?distro=indigo [Accessed 26 Feb. 2019].