工业机器人三点工具定位法图文_钢桶视觉机器人螺纹盖装配技术（1）绪论

钢桶视觉的机器人螺纹盖装配技术

文/徐超

【摘要】

近年来随着科技的进步和发展，自动化装配技术得到了越来越广泛的应用。在钢桶的生产加工过程中，钢桶螺纹盖的装配是钢桶生产流水线上十分重要的一道工序，直接影响到钢桶整体封闭性的好坏。为提高钢桶生产流水线的自动化程度，解决钢桶螺纹盖人工装配存在的生产效率低、装配质量难以保证等问题，本文针对钢桶螺纹盖的自动化装配技术展开研究，提出了一种基于视觉的钢桶螺纹盖自动化装配系统，并通过设计专用的末端执行器实现了钢桶螺纹盖的自动化装配。 首先，根据实际生产要求，确定钢桶螺纹盖自动化装配系统的总体方案，并通过对比分析确定了基于位置的Eye-to-Hand视觉控制方案和基于扭矩控制的螺纹装配方案，同时对系统涉及的硬件进行选型，明确了钢桶螺纹盖自动化装配系统的动作流程。 其次，对于钢桶螺纹盖的视觉定位算法展开研究，提出了一种钢桶螺纹盖中心定位算法。通过对钢桶螺纹盖图像预处理、拉普拉斯线性锐化滤波以及处理后图像的形态学孔洞填充，基于腐蚀性形态学梯度提取钢桶螺纹盖外轮廓曲线，实现中心定位。 再次，研究了Hough变换在直线特征提取中的应用，针对标准Hough变换进行直线特征提取时存在的问题，提出了一种基于改进随机Hough变换的直线检测算法，通过不同环境下的对比实验，验证了改进算法在直线特征提取时的优越性，并将该算法用于钢桶螺纹盖内部直线特征提取，根据提取直线的倾斜角确定钢桶螺纹盖的摆放角度，从而获得钢桶螺纹盖的完整位姿信息。同时，研究了摄像机成像几何模型及内外参数和工业上常用的手眼标定算法，并采用九点法进行视觉系统的手眼标定。 然后，结合钢桶螺纹盖自动化装配系统的总体方案以及钢桶螺纹盖的内部结构特征，对用于钢桶螺纹盖装配的专用末端执行器展开研究，设计开发了一种具有独立动力源，并内置扭矩传感器的专用末端执行器，融合了垂直进给与拾放动作，实现了钢桶螺纹盖的拾取和定扭矩装配；同时对机器人工具参数标定算法展开研究，采用TCP多点标定法进行机器人工具参数标定，并通过对80mm标准尖点进行TCP多点法标定实验，验证算法标定精度。 最后，基于Visual Studio 2010开发平台，采用C#高级编程语言，通过模块化的编程方式，编写了自动化装配系统的上位机软件，将系统上位机分为通讯模块、标定模块、图像采集模块和图像处理模块四大部分；编写了机器人运动控制程序和末端执行器控制程序，实现了上位机与两个下位机之间的通讯。 本文根据钢桶螺纹盖自动化装配系统总体方案、确定相关硬件，搭建系统仿真实验平台，编写系统上、下位机程序，通过手眼标定和TCP标定得到相关参数，并在此基础上进行多次钢桶螺纹盖自动化装配实验。实验结果表明，本文所提出的钢桶螺纹盖自动化装配系统能够代替人工操作实现钢桶螺纹盖的自动化装配，且系统稳定可靠，并在一定程度上提高了钢桶的生产效率，改善了企业的自动化程度。 关键词：自动化装配；工业机器人；机器视觉；钢桶螺纹盖；末端执行器

第一章 绪论

1.1 研究背景 近年来，随着科技水平的不断提高以及一些新兴技术的引进和研发，我国的工业自动化水平取得了很大程度上的进步，在诸多领域都获得了十分优秀的成绩。根据前瞻产业研究院工业自动化行业报告，2012-2016年间我国工业自动化总产值取得了较大幅度的增长，其中2016年达到了2286.14亿元，如图1-1所示，预计到2022年，我国工业自动化总产值将超过5700亿元。但从整体水平来看，一些传统产业仍存在着自动化程度不够、设备落后、生产效率低等问题，与国外一些发达国家相比，无论在工业自动化的发展水平还是应用程度方面都存在较大差距。目前国内很多机械类行业产品的装配过程依旧依靠人工操作或采用机械半自动化的装配方式，但随着我国体力劳动者适龄人口数量的持续减少，劳动力成本在不断上升；同时，人工装配受主观因素影响较大，装配精度重复性差且装配效率低。因此，实现产品的自动化生产将对机械装配行业的发展产生深远影响。

图1-1 2012~2016年我国工业自动化行业总产值

改革开放以来，中国的包装工业总产值以年均18%以上的增长率逐年递增，目前已成为门类较为齐全并具有一定市场竞争力的产业。自上世纪70年代以来，中国现代制桶工业进入快速发展时期，对于包装钢桶的需求量更是日益增加。根据行业调查，我国的制桶类企业已超过 300 家，且产品种类较为齐全，仅100L-200L钢桶的产量就已逾8000万只，但国内的钢桶生产线还未达到先进的自动化水平，虽然引进了一系列国外先进的生产设备和制桶技术，但与国际上发达国家相比仍存在较大程度上的差距，还没有实现完全意义上的自动化生产。 工业机器人自1959年问世以来，经过不断地发展与进步，已经在诸多领域得到越来越广泛地应用，尤其在现代制造技术中起着举足轻重的作用。工业机器人已经成为了自动化设备的典型代表，它涵盖多种学科，代表着机电一体化的最高成就。它是一种被工业上普遍使用的自动化、智能化装备，能够代替操作者完成焊接、喷漆、装配、上下料、机械加工等一系列工作。目前，国际上著名的工业机器人公司主要有机器人“四大家族”：瑞典的ABB、日本的FANUC、Yaskawa、德国的KUKA，这四家机器人企业占据的工业机器人市场份额达到60%～80%，除此之外还有美国的AdeptTechnology、Emerson Industrial Automation、瑞士的史陶比尔、英国的AutoTech Robotics等知名品牌；国内对于工业机器人的研究起步较晚，目前主要有：新松、新时达、埃夫特等国产机器人品牌。工业机器人研发水平和应用程度已经成为衡量一个国家科技发展程度的重要标志[7]，世界各国均制定了相关的发展战略，例如美国的“NRI国家机器人发展计划”、欧洲的第七研发框架计划、日本的机器人发展路线图、韩国的“839战略计划”以及中国的“863计划”、“中国制造2025”等。据国际机器人联盟(International Federation of Robotics，IFR)推测：全球范围内工业机器人使用率将以年均15%的速率递增，同时，我国在 2018~2020 年间工业机器人数量增速可达 22%。图 1-2 为工业机器人的生产应用。

图1-2 工业机器人的生产应用

机器视觉技术是一门采用计算机技术模拟生物视觉的科学技术，隶属于模式识别学科，它通过图像采集系统将模拟信号转化为数字信号发送给计算机进行相应处理；机器人视觉系统给机器人装上了“双眼”，使其能够感知外部环境，自主进行相应的动作。随着科技的进步和发展，机器视觉技术在工业领域已经获得了广泛的应用。在自动化装配过程中，单纯地采用机器人往往不能满足复杂的装配要求，而机器视觉技术能够有效地解决这一问题，从而减少装配系统对于外部环境的依赖性，同时提高机器人的灵活性。图 1-3(a)展示了基于视觉的PCB板无损检测，图 1-3(b)展示了基于双目视觉定位的并联机器人分拣系统。

(a)基于视觉的PCB板检测

(b)基于视定位的并联机器人分拣

图1-3 机器视觉的生产应用

1.2 研究目的及意义 在一个产品的生产过程中，装配过程起到了至关重要的作用，装配环节的好坏直接影响到产品的质量及整个企业的生产效率。在工业发展初期，产品的装配过程都是依靠人工操作的方式，其中一部分产品的装配所消耗的时间占了整个生产周期的53%左右。随着产品工艺复杂程度的不断提升，对于装配质量的要求越来越高，传统的人工装配方式已经不能满足市场需求，因此世界各国开始大力开展工业自动化，利用自动化设备代替人工进行装配。 在钢桶生产过程中，钢桶螺纹盖的装配是钢桶生产流水线上十分重要的一道工序。据调研，目前国内大部分包装钢桶生产企业该工序依旧处于依靠人工操作或机械半自动化的装配方式，不但严重影响了整个流水线的自动化程度，还难以保证产品质量。国内某公司年生产销售钢桶能力达1200万只，是生产规模最大的钢桶包装企业之一，但其钢桶螺纹盖的装配过程依旧依靠专业工人进行手工装配，不但费时费力，而且效率低下；基于此，本文为提高钢桶生产流水线的自动化程度，解决人工装配存在的装配效率低、装配质量差的问题，提出采用工业机器人结合机器视觉技术并通过设计专用的末端执行器来实现钢桶螺纹盖的自动化装配过程，满足钢桶的生产需求。 实现装配过程的自动化不但能够避免人工装配存在的效率低、精度差等一系列问题，还能够节约生产成本。目前随着人口老龄化的不断发展，人工成本逐年上升，手工装配在产品的总成本中所占的比例不断增加，有些甚至达到了50%以上，因此实现装配过程的自动化是未来制造业发展的必然趋势，具有重要的意义。 1.3 国内外研究现状 为实现钢桶螺纹盖的自动化装配，本文涉及到的技术领域主要包括自动化装配系统、机器人视觉技术以及螺纹盖装配技术。下面将从这三个方面对国内外的研究现状依次进行介绍。 1.3.1  自动化装配系统研究现状 美国、日本、德国等工业发达国家对于自动化装配技术的研究起步较早，早在1931美国福特汽车公司就已经率先建立了世界上首条汽车装配流水线，该流水线将每辆T型汽车的组装时间从12小时28分钟缩短为90分钟，极大地提高了汽车生产效率。 随着时代的进步，人们对于产品的需求量逐渐增大，世界各国开始对柔性装配系统(FAS，Flexible Assemble System)进行研发，美国波音公司率先将柔性装配系统应用于生产实践中，从而使得飞机的生产制造流程更加灵活，生产效率得到很大程度上的提升。日本丰田汽车公司研发出针对于汽车发动机非同步柔性装配线，减少了物流运输时间，提高了生产效率。 德国Manz集团研发了一种全新的模块化LightAssembly自动化装配平台，是全球首创的高度整合自动化装配流水线，通过模块化的设计极大地提高了产能。德国德派公司凭借先进的自动化生产流水线成了工业拧紧解决方案和自动化设备的标杆企业。美国特斯拉公司的超级工厂项目将实现无人化全自动生产，通过机器人的相互配合使得生产效率极大提升。 中国的自动化装配技术起步较晚，与国外发达国家相比仍存在较大的差距。前期主要依靠引进外国的先进自动化生产设备，但随着国家相关科研计划的顺利开展，我国在自动化装配方面也取得了一定的成果。例如格力电器应用于大松苹果电饭煲的自动化包装线，该包装线通过多个机器人的协调配合实现了装配过程的无人化。比亚迪自主研发的汽车装配生产线自动化程度高达90%，该条生产线每天最多可生产600辆汽车，极大地提高了生产效率。 1.3.2  机器人视觉技术研究现状 机器视觉是上世纪60年代末随着计算机技术的高速发展而出现的，而机器人视觉技术是20世纪70年代发展起来的新兴技术，其主要目的就是为了机器人构建视觉系统，使其能够感知外部环境，并加以理解和分析从而做出相关决策。机器人视觉系统通过视觉传感器获取外部二维信息，并通过相关的处理器进行分析得出有用信号从而使得机器人能够识别物体，并进行定位。 早在1968年，美国斯坦福人工智能实验室就已经研制出了具有听觉、视觉的智能计算机系统，该系统使得机器人能够听懂语音指令，并能够识别出方块等简单的物体。美国普渡大学提出一种基于视觉控制的Bin-picking系统，该系统通过提取目标零件的特征信息，实现了不同零件的分拣功能。Sharaihaand  Christofides通过将二维数字图像表示成一个图，像素作为图的顶点，像素之间的邻接关系表示成弧，提出了一种切削距离变换的图论方法。 ABB公司开发出了一种用于机器人的双目视觉系统，使得机器人可以自主完成轴孔装配，且装配误差在亚毫米范围内。韩国首尔科学技术大学Jong-Eun Ha提出一种四目视觉机器人对准算法，通过4个3D视觉传感器，使得机器人能够实现两个工件的自主装配。Martínez SS等设计了一种二元主动照明系统，从而使得非平面和透明表面的缺陷特征能够被检测和标记。在图像处理算法方面，Bino Sebastian等将数学形态学与超图相结合，提出一种超图上的形态学新算子。MatasJ等提出一种概率Hough变换(PPHT)算法，很大程度上减少了标准Hough算法的处理时间，提高了特征检测效率从而更加符合生产的实时性要求。 我国对于机器人视觉技术的研究起步较晚，但随着制造业对于自动化和先进设备的需求不断增大，我国的很多高校和科研院所也开始对机器人视觉技术展开研究，并取得了一定的成果。中国科学院自动化研究所区志财等搭建了一种基于视觉伺服的机器人磨削系统，通过工业相机采集工件位置，并设计相应的图像处理算法将位置信息反馈给机器人从而实现了视觉定位。西安理工大学王洪涛提出一种基于视觉的工业机器人目标识别定位方法，以改进的Hausdorff距离作为相似度度量特征，从而在距离变换的空间内实现了工件的识别。清华大学岁波等针对工业六轴机器人运动轨迹位置和姿态偏差问题，基于直线特征匹配提出了一种双目视觉测量系统，有效解决了工业机器人运动轨迹精准度测量问题。解则晓等提出一种新型的基于线结构光工业机器人三维定位算法，并提出了一种手眼和工具坐标系联合标定方法，实现工业机器人对于随机目标的三维定位。伍锡如等通过训练深度卷积神经网络，提出一种快速视觉定位识别算法，在很大程度上提高了工业机器人视觉定位的实时性和准确度。内蒙古大学王玲琳等通过视觉伺服系统反馈工件位置信息，并通过模糊控制算法实现了工业机器人对于圆球工件的实时控制。除此之外，随着我国工业机器人市场的不断扩大，国内也形成了一批专业从事机器视觉开发的企业，如大恒、创科等，这些公司主要以产品代理为主，也存在一些自主研发的产品，但都处于低级阶段不够系统和深入。总体来说，我国的机器人视觉技术处于快速发展时期，并在一些方面取得了一定的成就，但就某些关键技术上而言，仍然有待进一步的研究。因此，对于机器人视觉技术的研究无论从理论研究层面还是从实际应用方面都具有重要意义。 1.3.3  螺纹盖装配技术研究现状 国外对于螺纹盖的封装技术研究起步较早，在一些大型的包装产品如矿泉水、啤酒、药品类等灌装生产线中，已经实现了理盖、送盖、旋盖等基本工序的一体化生产。旋盖机是用于螺纹盖装配的主要设备，根据相关资料显示，全球目前三分之一的旋盖机相关设备来源于德国，其销量位于全球第一，其次是美国、日本等发达国家。德国SEN公司提出的X35型真空旋盖机通过真空罩结构可以实现玻璃瓶的配盖、夹紧、旋盖等动作，其生产效率达到每分钟500瓶。Krones公司提出的WFG型自动旋盖机用于聚酯瓶灌装生产线，具有良好的稳定性，且装配合格率高，生产效率达到每小时40000瓶。随着机器人技术的逐渐成熟，采用工业机器人进行螺纹盖的装配已经成为了一种发展趋势，美国、日本等一些发达国家已经实现利用工业机器人进行螺纹装配。如图1-4所示，分别为采用六自由度工业机器人和Scara机器人进行螺纹盖装配的应用实例。

(a)六自由度工业机器人进行螺纹盖装配

(b)Scara机器人进行螺纹盖装配

图1-4 机器人螺纹盖装配应用

我国在螺纹盖装配方面的研究相对起步较晚，总体来看，螺纹盖装配相关设备在自动化程度、装配质量以及装配效率等方面与国外发达国家还存在一定程度的差距。但随着包装产品需求量的不断增大，国家对于相关科研项目的投资力度不断提高，一些高校、科研院所取得了一定的研究成果，同时一些企业也研制出了相应的智能化旋盖设备，如汇拓研发的化妆品柔性生产线“Super Master”打破了欧美的技术垄断，使得产品向信息化、智能化方向大步迈进。 1.4 本文研究主要内容 在确定了课题的研究背景、研究目的及意义并对国内外研究现状进行充分了解的基础上，将对课题的研究内容、研究路线以及章节安排进行介绍。 1.4.1  研究内容 本文针对钢桶生产流水线上钢桶螺纹盖装配存在人工操作效率低、工作量大、且装配质量难以保证的问题，研究一种采用工业机器人结合机器视觉代替人工操作的自动化装配方案。 本文主要研究内容如下： 1、钢桶螺纹盖装配系统总体方案研究 根据钢桶生产流水线中钢桶螺纹盖的具体装配要求，结合目前工业自动化的发展趋势，对钢桶螺纹盖装配系统的总体方案展开研究，提出采用工业机器人结合机器视觉代替人工进行钢桶螺纹盖装配的总体方案；同时对系统中的视觉定位方案和螺纹装配方案展开研究，最后进行相关硬件选型并确定钢桶螺纹盖自动化装配系统的动作流程，为后续的相关研究奠定理论基础。 2、钢桶螺纹盖位姿识别算法研究 在视觉控制方案基础上，对图像处理的相关内容展开研究，主要涉及钢桶螺纹盖图像预处理、图像形态学孔洞填充、基于腐蚀型形态学梯度提取钢桶螺纹盖外轮廓曲线以及识别定位等内容。研究基于Hough变换的直线特征提取算法，针对标准Hough变换进行直线特征提取时存在的问题，提出改进直线检测算法，并设计不同环境下的直线特征提取的对比实验，验证算法的有效性和优越性，将算法用于钢桶螺纹盖内部直线特征提取，根据检测直线的倾斜角度确定钢桶螺纹盖的摆放角度，得到完整位姿信息。研究摄像机成像几何模型及内外参、手眼标定算法。 3、末端执行器的设计开发 根据钢桶螺纹盖自动化装配系统的总体方案，结合钢桶螺纹盖的结构特征，对末端执行器的机械结构和控制系统展开研究，设计开发一种用于钢桶螺纹盖装配的专用末端执行器，同时对机器人工具参数标定算法展开研究，确定机器人工具参数标定算法，并进行精度实验验证。 4、系统上位机软件开发及相关程序编写 基于Visual Studio 2010开发平台，采用C#高级编程语言，通过模块化的编程方式，针对钢桶螺纹盖的装配要求，结合系统总体方案，进行自动化装配系统上位机软件的开发；同时编写机器人运动控制程序和末端执行器控制程序，实现上位机与机器人和末端执行器之间的通讯，为钢桶螺纹盖自动化装配提供软件基础。 5、钢桶螺纹盖自动化装配系统相关实验 搭建钢桶螺纹盖自动化装配系统仿真实验平台，通过手眼标定、TCP标定得到相关参数，在此基础上进行钢桶螺纹盖自动化装配实验，对实验结果进行分析研究，验证系统的有效性。 1.4.2  研究路线 本文研究路线如图1-5所示。

图1-5 研究路线

本文的主要研究方向分为视觉定位系统、末端执行器设计开发两大部分内容，同时进行上位机开发、参数标定、系统通讯等相关内容的研究，最终实现钢桶螺纹盖的自动化装配。 1.4.3  章节安排 本文章节安排如下： 第一章：绪论。主要介绍本文研究背景，阐述工业机器人、机器视觉技术在工业自动化装配领域的应用前景，介绍国内外自动化装配系统、机器人视觉技术以及螺纹盖装配技术的研究现状，并结合研究的目的和意义对本文的主要内容和章节安排进行说明。 第二章：钢桶螺纹盖装配系统总体方案。对钢桶生产流水线上钢桶螺纹盖的装配需求进行分析，确定钢桶螺纹盖自动化装配系统总体方案；同时，对系统整体进行研究，确定各部分方案，并对系统中涉及到的硬件进行选型，最后确定系统动作流程。 第三章：钢桶螺纹盖视觉定位方法。本章重点介绍钢桶螺纹盖的视觉定位方案，确定一种基于形态学的图像边缘检测算法；同时提出一种基于改进随机Hough变换的直线检测算法用于提取钢桶螺纹盖的内部直线特征，并基于直线特征确定钢桶螺纹盖摆放角度；最后对摄像机的成像几何模型和内外参数以及手眼标定算法展开研究。 第四章：机器人末端执行器结构及控制系统。本章将从专用末端执行器的机械结构设计、控制系统设计以及工具参数标定三个方面展开研究，设计开发一种用于钢桶螺纹盖装配的专用末端执行器。 第五章：钢桶螺纹盖装配系统搭建与实验结果分析。本章将搭建基于视觉的钢桶螺纹盖自动化装配系统的仿真实验平台，对系统上位机软件进行开发，进行相关实验以验证系统方案的可行性和准确性。 第六章：结论与展望

(未完待续)