1

sciencedirect

摘要

在过去的三十年中，由于对提高产品质量的需求不断增加，刀具状态监视与自动制造工艺的发展正在并行发展。由于机器视觉系统，计算硬件和非触觉应用的改进，用于工具状态监测的数字图像处理技术的进步是重要的研究兴趣。本文对工具状态监测中数字图像处理技术的发展进行了回顾，最后得出了该领域所需系统研究的结论。

1 介绍

产品质量主要取决于加工表面。表面质量主要取决于切削刀具的磨损。切削刀具的磨损取决于切削条件，工作和刀具材料，刀具几何形状。有切削刀具的四种模式的磨损，例如，粘结磨损由于剪切平面内变形，磨料磨损由于硬颗粒切割，扩散磨损由于高温和断裂磨损由于疲劳。切削刀具中发生四种主要磨损类型，分别是机头磨损，后刀面磨损，月牙洼磨损和缺口磨损。侧面（后刀面）磨损（如图1所示））是由于刀具侧面和工件之间的摩擦而产生的。侧面磨损由最大侧面磨损宽度（VB max）或平均侧面磨损宽度（VB mean）指定。刀具寿命标准主要取决于VB平均值。切削工具正经历三个阶段的磨损[29]。最初的磨损（在最初的几分钟内），稳态（切削工具的质量缓慢下降）和严重的磨损（随着工具达到其使用寿命，迅速恶化）。由于切屑工具相互作用，在高温下会产生陨石坑磨损。这种磨损的特征是坑深度和坑的面积。

原则上，工具状态监视系统可以分为两类。它们是（a）直接技术和（b）间接技术。在直接技术中，可通过工具制造商的显微镜，3D表面轮廓仪，光学显微镜或扫描电子显微镜直接测量侧面磨损宽度，凹坑深度和凹坑面积（离线方法）或CCD相机（在线方法）。在间接技术中，切削过程的测量参数或信号（即力，声发射，电流，功率，表面光洁度等）可以根据工具的磨损程度得出结论。通常，这些工具磨损监测系统基于优化切削过程的参考信号与实际过程信号的比较[127]。这些技术主要是采用诸如声发射，切削力，主轴电流和振动传感器等各种技术来实现的[99]。但是，这些方法存在一些局限性。为了克服这些限制，正在进行研究，通过使用数字图像处理技术从加工表面的图像中分析加工表面的表面纹理，从而确定工具的磨损程度。使用机器视觉的数字图像处理（digital image processing，DIP）在加工过程中有广泛的应用，例如表面质量控制，刀具磨损测量，工件表面纹理测量等。

1.1 DIP用于刀具状态监控的优缺点

与其他技术相比，使用数字图像处理技术来监视任何制造过程具有一些优势。例如：（1）它不会对要检查的表面纹理施加任何力或负载；（2）它是一个非接触式过程中应用程序[63] ；（3）该监控系统比其他系统更灵活，更便宜；（4）该系统可从远处操作和控制，因此对无人生产系统非常有帮助；（5）该技术不依赖于颤振的频率，方向性因为声发射（AE）传感器依赖于这些因素；另外，AE传感器主要检测加工中的刀具破损[17]，[102]，[29]。因此，使用AE传感器很难监测切削刀具的渐进磨损。（6）振动传感器（加速度计）可以监视工具的破损，超出公差的零件和机器碰撞[52]；使用振动传感器无法进行渐进式磨损监测；（7）DIP技术不受高频力的影响，因为这种高频力无法通过测功机获得；力传感器对机器振动也很敏感[53]；（8）为了监视和控制加工过程，需要融合多个传感器（AE传感器，测力计，振动信号等），但这一点都不划算[52]; （9）但是，加工后的表面图像会携带工具压印信息以及工具几何形状的变化[9]；因此，可以通过分析加工的表面图像来获得粗糙度，波纹度和形状信息[15]；（10）可以从加工的表面图像获得2D信息，这是不能通过1D表面轮廓仪获得的[122]；（11），也可以从加工的表面图像中获得加工参数的信息[31]。; （12）CCD摄像机的发展也促进了工业图像处理的接受，因为CCD摄像机对不利的工业环境不太敏感；（13）光学图像处理带来了使用光学设备进行增加，减少，相乘，存储甚至进行不同图像变换的可能性；（14）使用扫描型3D表面轮廓仪[1]，[23]，[88]，[95]可以精确地测量加工表面的三维表面粗糙度。; 然而，由于不经济的时间，成本的低效和机床的不可及性，这些3D测量对于进行中或在线工具状态监控无效。为了克服这种情况，基于机器视觉的系统可用于监视目的。然而，在工具状态监测技术中使用机器视觉系统也有一些局限性[141] 。（1）成功实施该技术非常重要[9] ，适当的照明系统，鲁棒的图像处理算法，免受机加工噪声（碎屑，灰尘等）的影响是至关重要的。（2）由于无法使用DIP监控钻具零件，因此非常困难[51]。然而，近年来已经开发了一种监测深孔部件的方法[84]。

本文由五个主要部分组成。第一部分概述了用于工具状态监视的数字图像处理技术（tool condition monitoring, TCM）。第二部分解释了TCM中使用的照明系统。第三部分介绍了直接使用数字图像处理的TCM技术。第四部分介绍了使用图像处理的不同间接TCM技术。最后的和最后的部分将得出总体结论，并通过数字图像处理技术为TCM研究提出未来的方向。

2 数字图像处理技术

图像采集是任何机器视觉系统的第一步。在TCM的情况下，切削刀具（前刀面或后刀面）或工件表面的图像用CCD（带电耦合装置）相机或CMOS（互补金属氧化物半导体）数码相机捕获。CCD相机由CCD传感器组成，CCD传感器是一组光敏元件，用于收集由吸收的光子产生的电荷。然后将那些电荷转换为电信号，然后通过帧采集器将其转换为数字图像。最后，图像被传输到PC以进行处理[50]。CMOS与CCD传感器的区别在于其更快的捕获速度。CMOS传感器可以比CCD相机更快地获取帧。但是CMOS传感器的灵敏度远低于CCD传感器。为了创建数字图像，需要从连续感测到的数据转换成数字形式。这涉及两个过程：采样和量化。坐标值和幅度值的数字化称为采样和量化。图像放大也可以通过线性插值，三次插值，三次卷积插值等来实现。进一步处理还需要不同类型的邻域运算[41]。

从照明角度来看，图像$f(x,y)$可以由两个分量来表征：（1）入射到场景上的源照明量，以及（2）被物体反射的照明量。适当地，这些被称为照明和反射率分量，分别由$i(x,y)$和$r(x,y)$表示。这两个函数作为乘积组合起来形成$f(x,y)$，
$$f(x,y)=i(x,y)r(x,y)$$
为了通过对比度拉伸，直方图均衡，通过滤波降低噪声，不均匀照明补偿等来改善图像，需要进行图像预处理。为了增加图像的对比度，对比度拉伸和直方图均衡是两种最常用的技术。为了降低噪声，低通滤波是非常重要的技术。它包括通过在空间和频域中使用低通滤波进行图像平滑。在空间低通滤波中，滤波器蒙板与图像矩阵卷积以减少图像中存在的有害噪声（图像平滑）。阶数统计或中值滤波器用于消除图像中的脉冲噪声（图像平滑）。巴特沃思和高斯低通滤波器频域中一些常见的低通滤波器。高通滤波器用于增强图像的清晰度（图像锐化）。锐化掩蔽（强调高频成分并保留低频成分），拉普拉斯滤波器（二阶滤波器）是一些用于图像锐化目的的空间高通滤波器[41]。图像过滤和增强操作对于减少特别是用于切削刀具图像的图像噪声非常重要，因为对象表面上的灰尘，油渍和机加工灰尘会产生噪声。低通滤波（例如中值滤波，高斯滤波等）可用于减少切削刀具磨损图像和机加工表面图像中的噪声。此外，高通滤波技术还可用于增强工具的磨损状况，并有助于清晰识别加工的表面图像中的进给标记。

在预处理之后，通常进行图像分割和边缘检测，以将刀具的磨损区域与未磨损区域进行分割，并且还检测加工后的表面图像的进给线的边缘。图像分割是根据给定标准将图像划分为多个区域的方法。基于特征状态的技术将像素/区域属性收集到特征向量中，然后通过选择一些阈值使用此类向量将其分配给类别。虽然基于特征状态的技术未考虑像素之间的空间关系，但基于图像域的技术却将其考虑在内；但是，例如，分割和合并技术根据相似性度量来分割和合并相邻区域；区域生长技术再次通过比较像素值，从随机种子（区域中心）开始聚合相邻像素。基于分水岭分割技术对于微米和纳米表面形貌可能是有用的。分水岭分析实际上是根据麦克斯韦在地理分析方面的工作而得出的，该分水岭分析是根据丘陵和山谷对地表地形进行推理。基于分水岭的表面分割包括将表面地形划分为以下几类区域：丘陵（最大上坡路径通向一个特定山峰的区域）或谷类（最大下坡路径通向一个特定凹坑的区域），丘陵之间的边界为水道线，而山谷之间的分界线是分水岭线[2]。

边缘检测操作用于通过计算图像梯度和方向来检测图像的重要边缘。图像f（x，y）的梯度和方向在等式中定义。（2），（3）。

Robert运算符（对噪声敏感），Sobel运算符，Prewitt边缘运算符是一些一阶边缘检测器，它们对于自动检测刀具磨损曲线非常有用。Canny边缘检测器由于其抗噪性和以最小的误差检测真实边缘点的能力而被广泛应用于机器视觉领域。在Canny边缘检测方法中，首先使用具有标准偏差σ的高斯平滑滤波器对图像进行卷积。该操作之后，对所得的平滑图像进行梯度计算。利用贝叶斯决策理论进行非最大值抑制，双阈值化和边缘阈值选择是实现Canny边缘检测的步骤。刀具侧面磨损的渐变图像（通过铣削实验获得）和使用Canny边缘检测器的加工表面（通过车削实验获得）如图2所示。通过这种方法可以获得磨损轮廓或表面纹理的边缘。基于双导数的边缘检测器仅用于检测那些在梯度值中具有局部最大值的边缘点。高斯的拉普拉斯算子和拉普拉斯算子是最常用的基于双导数的边缘检测器。

为了将数字图像划分为多个区域，灰度阈值技术在计算上是廉价的。基于某个最佳阈值，可以将图像划分为多个区域。例如，为了将侧面磨损轮廓与其背景分开，通常使用阈值技术。Otsu的最佳阈值技术是在工具磨损测量中使用的一种非常常见的阈值技术。在该技术中，类别C 0由用于灰度级强度k的所有灰度值V（k）形成，而所有其他类别形成另一类别C 1。最佳k选择该值以获得最大的类间差异。在双级阈值技术中，将图像划分为前景和背景片段，在多级或动态阈值中，图像分为两个以上的片段。在基于熵的阈值化中，以这种方式选择阈值，以使前景和背景的总熵值最大[2]。阈值技术对于后刀面磨损轮廓的二值化很重要。

在边缘检测和阈值化之后，进行形态学操作。腐蚀，膨胀，闭合，打开是准确完成磨损曲线的重要工具。在此操作中，通过在轮廓中引入或删除一些点或灰度值即可获得无噪音的形态[41]。

通过加工零件的表面纹理进行的刀具状态监视主要取决于纹理分析方法。可以在预处理后应用此方法。纹理是重复的模式，是一组局部统计信息或属性，其变化缓慢或保持近似周期性。纹理中的原始元素是一组相连的像素，其特征在于一组属性（粗度和方向性）。例如，在车削表面的情况下，可以获取重复的进给标记作为纹理图元。可以使用统计，几何，基于模型和基于信号处理的方法进行纹理分析。在统计方法中，将纹理建模为随机场，并将统计概率密度函数模型拟合到空间分布纹理的强度。高阶统计等运行长度统计，二阶统计像灰度共生矩阵（GLCM）可以用作统计纹理分类器。在几何纹理分析方法中，分析取决于纹理基元的几何属性。Voronoi镶嵌，Zucker模型是一些几何纹理分析方法。在基于模型的方法中，纹理分析是通过一些信号模型完成的，例如Markov随机场，Gibbs随机场，Derin-Elliot，自动二项式，分形（自相似）模型是一些基于数学模型的纹理分析方法。在基于信号处理的纹理分析中，空间域滤波，傅立叶域滤波，Gabor和小波分析是一些常见的纹理分析方法[125]。

3 照明系统

照明系统是接收适当图像以进行图像处理的最重要和最关键的方面。由于照明设置不当导致照明不均匀，因此来自图像的信息不足以用于任何机器视觉应用。几项研究对于使用图像处理进行工具状态监测的照明设置非常重要。所需的照明系统因应用而异。用于捕获刀具磨损图像和机加工表面图像。Weis [132]尝试使用结合了红外带滤光片的二极管闪光灯来捕获工具磨损图像，这有助于增强相对于背景的工具磨损区域。仓田和布拉德利[73]使用了两个光纤导轨来捕获工具磨损区域。他们使用它在磨损和未磨损的工具区域之间获得足够的对比度。Pfeifer和Weigers [99]使用了与照相机相连的LED环，以从不同角度捕获工具刀片的正确照明图像。Kim等。[70]使用围绕透镜的光纤来照亮4槽立铣刀的侧面。他们还检查了使用高功率照明（60 W）可以最佳地测量侧面磨损。Jurkovic等。[58]利用卤素灯照亮了切削工具的前刀面和后刀面以及一个激光二极管以及用于在工具的面上获得结构化光图案的附件，以通过前刀面上的结构化光的变形来检测工具的磨损。Wang等。[131]使用光纤导光来照亮连接到4槽铣削刀架上的每个刀片的侧面，并通过使用激光触发器来捕获慢速旋转条件下的连续图像，而模糊现象很少。Kerr等人使用荧光环发出的白光以及纤维束发出的光，以最大程度减少镜面反射，从而捕获工具图像。[68]。因此，需要高照度和定向照明来捕获工具磨损区域，以便获得非常精确的照度图像。Wong等。[134]使用了5 波长为0.8 mm的mW He–Ne激光束，用于通过透镜以30°的入射角聚焦在加工表面上，以捕获图案的中心。然后，在由白色镀膜玻璃制成的屏幕上形成反射光图案，使用CCD相机从该屏幕上抓取散射的图案。为了最小化环境光的干扰，对设置进行了覆盖，并为所有测试提供了一致的照明条件。但是需要加工表面的实际图像而不是反射图案。蔡等。[123]试图通过常规荧光光源获得均匀照明的机加工表面图像，该常规荧光光源相对于样品表面法线的入射角约为10°。相对于样品表面的法线，还以大约10°的角度设置了摄像头，以在光的方向上获取图像。但是，此设置仅适用于平坦的标本，不适用于弯曲的表面。布拉德利和黄[16]使用了光纤导向照明源和照明灯具。通过改变照明设备的位置，可以确保加工表面的均匀照明。在表面评估过程中，将样品放置在平台上，以使放置标记垂直于CCD传感器的较长尺寸。将光源放置在距离 表面8厘米的位置，因为这样可以提供最佳的图像对比度。在该技术中，捕获了平坦试样（端铣）的图像，但未获得车削表面（即曲面）的图像。Lee等。[78]我们使用了一个相对于机加工（车削）的表面样品成大约45°入射角的散射 蓝光光源，以完成对样品的照明。Alegre等。[4]解释了一种用于捕获旋转零件图像的漫射照明系统（带红外干扰滤光片的DC调节光源，用于冷照明）。他们还使用了方形连续漫射照明器来获得相机轴上的漫射照明。最后一种照明系统最适合于获得旋转或弯曲部分的均匀照明图像。盖子可用于减少工业环境中环境照明的干扰。

4 。使用图像处理的直接TCM技术

切削刀具的使用寿命主要有两种磨损机制：侧面磨损和月牙洼磨损。侧面磨损发生在工具的后刀面，主要归因于工具在加工表面上的摩擦作用。刀具的前刀面会发生坑口磨损，从而改变切屑-刀具界面，从而影响切削过程。加工期间刀具磨损逐渐增加。这取决于工具材料的类型，切削条件和润滑剂已选择。通过机器视觉系统拍摄切削刀具的图像后，正在通过图像处理对刀具磨损进行在线测量。该技术属于直接工具状态监视领域。侧面磨损可以通过捕获切削刀具的图像直接确定，但是需要更复杂的技术来确定弹坑深度[59]。在以下各节中描述的各种研究中，已通过二维和三维技术测量了刀具的磨损。

4.1 。二维技术

侧面磨损是通过二维技术确定的。Kurada和Bradley [74]回顾了机器视觉传感器的进展，这些传感器用于获取有关切削工具和加工零件的信息。他们比较了近十年来机器视觉技术的进步。他们强调实验室水平的发展。

Kurada和Bradley [73]通过使用两个光纤导光灯和CCD摄像机捕获刀具侧面磨损的图像，为直接刀具状态监测做了开创性工作。调节两个灯以照亮工具侧面磨损区域。他们首先在水平和垂直两个方面对图像进行了校准，以将像素单位转换为长度单位（微米）。在他们的工作中，他们逐步使用基于纹理的图像分割技术，包括图像增强（使用级联中值滤波器）以减少噪声，图像分割以从背景提取侧面磨损区域（使用方差算子），全局阈值化，通过形态学操作（气泡分析）和侧面磨损计算（通过边界和区域描述符）。但是，他们使用视频变焦显微镜离线进行了尝试。

如果使用离线技术，则必须始终将切削刀片或切削工具从机床上脱开。因此，这是非常耗时的并且对于切割工具的正确对准可能是错误的。因此，Weis [132]进行了开创性的工作，以捕获铣削刀片的刀具磨损区域，而无需将刀片与刀架脱离。此外，在图像采集时，借助红外滤光片，工具的磨损区域得到了增强，背景也逐渐淡出。二极管闪光灯也已与CCD相机同步，以捕获理想的刀具磨损区域。侧面已应用膨胀和二值运算用于测量侧面磨损宽度的图像。它们主要是为精确在线捕获工具磨损图像的照明系统的重要性。然而，其技术中的图像处理方法已被赋予第二优先权。Tauno和Lembit [120]开发了一种用于检测侧面磨损的软件，该软件使用非线性中值滤波器消除噪声，并使用Roberts滤波器算子进行边缘检测。该系统提供了表面积，平均磨损区长度和侧面磨损轮廓周长的自动测量。但是，他们的方法不能用于全自动测量。菲佛和威格斯[99]带有不同入射角的环形光的工具刀片的捕获图像。然后，他们比较了那些捕获的图像，并减少了即使是复杂切削刃的不均匀照明问题。但是，他们没有针对不同的磨损条件检查技术。Sortino [116]通过使用新的彩色图像边缘检测方法开发了侧面磨损测量软件。在这种统计滤波方法中，将像素的邻近像素视为一个集合，并已针对每种基本颜色（红色，绿色，蓝色）计算了每个集合的平均值和标准偏差。然后，比较参数，Δ边缘是从设置参数（即平均值和标准偏差）演变而来的。最终，对于较高的Δ边缘值正确地检测到了边缘，并确定了切削刃，磨损区与氧化区之间的边界线，氧化区与刀具表面之间的边界线。但是，由于分辨率为 10μm ，因此该磨损测量系统的精度因侧面磨损宽度低而受到限制。[58]使用结构化照明的镜面反射，通过使用线条的投影来确定刀片前刀面或侧面的深度和皱纹，从而对插入件表面的外观和特征进行了表征。但是这种方法需要非常复杂和昂贵的图像采集设置。而且该方法没有使用任何三维模型来显示凹坑的深度轮廓，这种方法也无助于测量带槽刀片的凹坑深度。Wang等。[131]开发了一个自动系统，用于捕获和处理移动刀片的连续图像，以使用连续图像对之间的互相关技术来测量铣削时的后刀面磨损。他们开发的方法是使用新颖的并行扫描技术去除噪声的可靠技术。但是，该方法是阈值相关的方法，其中测量的精度取决于所选的阈值，并且由于照明和涂料之间的不良相互作用，该方法对于测量涂层的硬质合金刀片并不是很有用。。为了恢复阈值对测量精度的限制，他们采用了基于矩不变性的另一种技术来选择侧面磨损轮廓的确切底部，与 从显微镜获得的测量值相比，误差最大为15μm，最小为3μm[ 128]，[129]，[130]。他们还成功地测量了涂层硬质合金刀片的侧面磨损。尽管此系统与阈值无关，但它取决于确定侧面磨损宽度的参考线的精度。该方法的计算时间为2 秒，这对于实时测量来说根本不可行。法达雷和奥妮[35]，使用插入图像评估侧面磨损和缺口磨损。首先通过Weiner过滤对工具插入图像进行过滤。长度，宽度，面积，等效直径，质心，长轴长度，短轴长度，坚固性，偏心率和方向是所提取的磨损指标。他们借助两个白炽灯光源在暗室中拍摄了工具插入图像。显微镜和视觉系统之间的最大测量绝对差为3.13％。还从提取的磨损描述符中得出了总体工具磨损指标，即工具磨损指数（TWI），这是高度可靠的工具磨损指标。Fadare的工作获得了非常好的系统变化。但是，C / C ++编程语言可以提供比MATLAB更快的结果，并且可以用于实时应用。为了在工业环境中实现其方法，需要更好的照明条件，例如光纤导光或扩散环形光。梁等。[83]利用基于图像配准和互信息的方法来识别TiN涂层，TiCN涂层和TiAlN涂层硬质合金铣削刀片的刀尖半径变化，以进行渐进式铣削操作。他们还使用相似性指标来描述鼻半径。但是，他们的方法对于测量月牙洼和后刀面磨损非常困难。Sahabi和Ratnam [109]从切削刀具刀尖的轮廓图像在线测量了车削刀片的刀尖半径。他们利用中值滤波和Weiner滤波来减少图像噪声。进行形态学操作以减少微尘颗粒产生的噪声；使用一致性方法来减少未对准错误; 应用已磨损和未磨损工具的阈值和减法来测量鼻部磨损区域。他们使用该技术以各种切削速度进行车削。但是，他们没有量化侧面磨损宽度。为了改进他们的方法，在靠近切削刀具的刀尖的区域中测量侧面磨损宽度，他们在线使用了机器视觉系统ÿ