液压管路渗漏图像识别检测方法研究

(一)选题依据

1. 课题研究意义及国内外研究现状

1.1 研究背景及意义

液压系统具有体积小、重量轻、反应灵敏、传递功率大、运动平稳、传动比大、调速方便等特点，广泛运用于各种机械设备中[1]。液压系统是以液压油作为工作介质来传递能量从而达到执行元件实现其需要的动作的系统。在液压系统中，液压油又是润滑剂，在某些元件中还起密封作用，系统中的热量也往往是通过油液而逐渐扩散出去，因此又起冷却作用。在液压系统的实际应用中，考虑最多的是油液的黏温特性和污染度对系统的影响，而忽视了油液泄漏的危害[2]。

液压系统中的液压油在液压元件（包括管道）的容腔内流动或暂存，循环的液压油理应限于在规定的容腔内，然而由于压力、间隙等因素的影响，有部分液压油超过容腔边界流出，液压油的“越界流出”现象称为泄漏。据国内外数据介绍，开展防漏治漏以前,英国每年液压系统泄漏损失高达1.8 亿美元；美国工业部的液压系统泄漏直接损失达6000 万美元／年；日本液压油年泄漏损失近9000 万美元；我国液压技术也同样受油液泄漏的困扰[3] 。外泄漏对液压系统的正常运行危害极大, 大致可分为以下几种情况：①造成压力损失，影响液压系统工作效率；②液压系统整体稳定性下降，造成安全隐患；③泄漏部位的液压油容易吸附大量的微粒,并造成系统内液压油的污染； ④泄漏出的液压油可能会损坏其他设备； ⑤泄漏的液压油量若较大,容易引起着火等事故；⑥滴落的液压油, 也可能致使人员滑倒, 危害人身安全[4]。液压系统的泄漏可分为元件泄漏和管路泄漏两种。从对钢铁工业的调查统计中得知，主要液压元件泄漏占总泄漏的比例是： 液压缸占28％， 管路系统占44.5％， 液压泵占 7.5％[3]。以上可知液压管路泄漏是其中最主要的泄漏方式。

（a）液压油实时泄漏                     （b）泄漏造成影响

图1 液压泄漏图

液压管路系统是液压系统的重要组成部分，其能否正常运行往往决定着液压系统是否可以正常运行。然而一方面由于液压管路处在复杂工况及不断振动的状态下，易发生管道破裂、管道密封损坏等现象，另一方面液压管路元器件在装配或更换时易发生安装不牢固从而油液渗漏的现象，这些都会导致系统不能正常工作。目前，液压系统泄漏主要是针对液压缸、液压泵、液压马达等元器件，而对液压管路泄漏方面尤其是液压管路微小泄漏即渗漏的准确定位和实时检测研究较少。微小泄漏基本不会影响信号的波动，所以当发生微小泄漏时现有的方法往往不可行。在输油管道泄漏检测方面主要有超声波法、声波法、负压波法、流量平衡法、分布式光纤捡漏法等。实际应用中，超声波法易产生漏检、声波法成本高、负压波法易受外界干扰、流量平衡法定位困难、分布式光纤捡漏法成本高，故都无法对液压管路泄漏进行检测[5,6]。目前，在液压管路微小泄漏的检测方面，目前主要还是依靠人眼观察或通过荧光示踪剂进行观察，其对人的工作状态及专业素质要求高，并且达不到实时检测的目的，通常都是发生大泄漏后才进行弥补，容易造成极大的损失。

图像识别技术是一种代替人眼的自动检测技术。图像识别技术通过模拟人的视觉系统，不但继承了人眼观察事物的准确性、实时性、灵敏性，也进一步扩大了观察区域。当在环境恶劣的重型工业生产基地，如果人工完成一些设备的检测，危险度很高，有时甚至人工根本无法完成。这时就需要让机器视觉系统发挥作用，这样不但降低了人受伤的概率，而且完成工作的效率更高。在硬件设备方便，一台成本较低的工业相机即可实现目标运动的检测并将其逐帧分解来满足图像处理的需要。在软件及算法方面，随着人们对深度学习更进一步的认识，在目标检测、图像识别方面的准确率已经可满足工业生产的需要。在管路识别及泄漏方面，图像识别也有应用的潜力。然而对于液压管路，存在管路布置错综复杂、管径较小、渗漏时特征不明显、管路及接头外表面易被污染等问题，因此现有的图像识别方法在识别时并不能准确识别。为此，进行管路识别和管路渗漏识别相关算法研究具有重要的理论意义和实用价值。

1.3 国内外研究现状

1.3.1 液压系统泄漏检测国内外研究现状

国内从上世纪90年代开始研究液压系统泄漏检测，方志宏等[7,8]利用液压系统压力动态过渡的过程为分析对象，基于BP神经网络，并在原有的BP神经网络上对样本加噪声以提高网络对噪声的抑制能力。之后该团队使用新型压力波形采集仪，将测量的结果用积分方法判断出是否产生泄漏。同年，潘宏[9]运用小波理论定义特征量描述液压系统泄漏导致的容腔压力飞升速率，进行系统泄漏量的检测。2002年，于文征[10]以柱塞泵为主要实验对象，采用小波分析工具提取泄漏故障的特征，并研发了基于反向传播神经网络的智能诊断系统来对泄漏进行检测。2003年，杜文正等[11]通过选取适当的小波函数对液压缸压力信号进行小波变换，通过检测适当尺度下的极大值点，来检测液压缸的泄漏。罗守华[12]利用小波包分析法提取振动信号中的泄漏故障特征频段信号，并计算该频段的能量谱大小，实现了液压系统泄漏故障诊断。2009年，邹俊等[13]将主分量分析技术（PCA）应用到了液压泥炮泄漏监测中，采用Hotelling T2和Q统计作为故障检测的依据，利用核密度法生成了两个统计量的联合置信空间，提高了故障诊断的准确性。2012年，周小军[14]采用面向对象建模仿真和支持向量机故障诊断方法，有效提高了泄漏故障检测的准确率，为液压系统泄漏故障诊断提供新的方法。2014年，陈立[15]以液压缸泄漏故障为研究对象，利用声发射、振动进行检测，以傅里叶变换为理论基础，同时考虑了液压缸泄漏故障信号的非平稳性，来检测液压缸的内泄漏。2020年，于升飞等[16]对液压系统内泄漏展开研究，首先建立了液压系统的内泄漏故障仿真模型，并从中得到故障诊断方法研究的故障样本，最后运用了卷积神经网络对模型进行改进使得提高抗噪性能，实现了内泄漏的故障诊断。

在国外也有人对液压系统泄漏进行检测，2009年，Goharrizi等[17]在控制阀的周期性阶跃输入的研究中，提出利用小波分析的均方根值的变化程度表示故障的严重程度。2011年，Goharrizi等[18]利用小波变换，进行液压执行器外泄漏故障在线检测和内泄漏隔离的实验研究。同年，Goharrizi等[19]提出了基于经验模态分解（EMD）的诊断方法，该方法通过提取第一个固有模态函数（IMF）分量瞬时幅值的均方根值用于内泄漏故障的诊断。2012年，Nurmi[20]设计了一种基于无迹卡尔曼滤波的通用伺服阀控液压缸泄漏和阀门故障检测与隔离方案。2013年，Inaguma等[21]在液压泵泄漏流量分析中，建立了考虑间隙厚度随输出压力变化的泄漏流数学模型，准确地反映了各种泵的实际泄漏流特性。2014年Rezazadeh等[22]提出了一种基于观测器的电液系统执行器故障检测算法，来检测内泄漏。2016年，Maddahi等[23]对液压缸内泄漏问题采用了多尺度分析方法，发现相关熵均值及第五层小波细节系数可用于区别不同程度的内泄漏情况。2018年，Sharifi等[24]通过压力信号样本集，利用机器学习来找到一个非线性的映射以达到检测电液伺服系统泄漏。2020年，Shanbhag等[25]利用声发射波段功率和功率谱密度特征，在试验台上识别液压缸活塞杆密封件半磨损和密封件磨损引起的泄漏。2020年，Kumar[26]研究了变排量轴向柱塞泵和定排量液压马达传动系统基于泄漏的健康监测问题。2021年，Rituraj等[27]提出了一种新的曲线收缩几何形状的流动模型，它适用于包括局部空化在内的各种流动状态，从而提高预测齿轮泵内部泄漏的准确性。

1.3.2液压管路泄漏研究现状

综上，目前多以液压泵、液压缸的泄漏为研究对象，很少有从液压管路的泄漏为对象进行研究。液压管路系统主要由管道、管接头和管夹部分组成，还包括一些辅助元件如密封件、管夹支承等，其主要作用是保证油路的连通，便于拆卸以及安装[28]。管件作为液压系统的“血管”将液压油输送到整个系统，一般情况下会因为环境的恶劣以及管道材料统与液压油的不匹配，造成了管道的腐蚀、氧化及老化而破裂从而发生泄漏[29]。在实际生产过程中发现大多数的液压系统渗漏是出现在管接头部位。主要原因有： ①设备长时间运行产生振动使接头螺帽松动进而出现渗漏； ②接头O型密封圈老化、变硬失去了密封效果出现渗漏； ③在装配管接头时候位置不正确或受力太大将接口研伤或密封挤伤后发生渗漏[30]。因此对液压系统的管路部分进行检测是有必要的。2019年，付旭鹏等以环向裂纹飞机液压管路泄漏故障诊断为目标。建立了管路流固耦合振动方程，初步研究环向裂纹管路的动力学特性；同时对循环液压冲击载荷作用下环向裂纹管路泄漏故障进行诊断[31]。2020年，郭长虹等开展了管路泄漏故障实验，通过最优小波函数和负压波定位法检测及定位管路泄漏位置[32]。同年，王立文等针对复杂环境下飞机的液压管路系统在故障诊断时存在的各种问题，提出一种基于概率神经网络的液压管路系统泄漏故障的诊断方法[33]。

1.3.3 管路泄漏检测国内外研究现状

鉴于管道运输的重要性，其泄漏检测一直为人们所重视。目前，用于管路泄漏检测的主要方法有声学检测法、负压波检测法、直接检测法、基于流量的检测法。

当输油管道发生泄漏时，产生的高频振动噪声沿管道壁传播，被安装在管道上的检测器捕捉并加以分析，判断是否发生泄漏[34]。当输油管道发生泄漏时，流体经过泄漏点由于管道内外的压力差而产生高频噪声，即泄漏声波。该声波沿管道传播，被传感器采集并进一步分析处理，判断是否泄漏和定位泄漏点[35]。检测泄漏声波是个很直接的方法，通过分析引起声波衰减的阻尼影响因子得到声波的传播规律，建立传播模型。这类模型只适用于特定规格的管道，且抗干扰能力差。

输油管道发生泄漏时，泄漏点处将产生瞬态压力骤降形成负压波向管道两端传播。根据管道两端的传感器采集到的负压波的速度和时间差确定泄漏点[36]。负压波法便捷、数学模型简单、计算量小、泄漏点定位精度高、检测速度快、投资成本不高[37]。但是其易受外界干扰、不适用于小范围输油管道检漏。总体而言，研究人员尝试利用去噪来寻找信号拐点信息、补偿波速消耗以达到降低误报率、增强模型的鲁棒性的目的[38]。此方法易受外界干扰、会发生误报的情况、对缓慢泄漏检测困难、不适用于小范围输油管道检漏。

通过检测输油管道外的装置或环境有无变化，判断输油管道是否发生泄漏。该方法一般包括示踪剂检测法、热红外线成像法、超声波检测法[39,40]。示踪剂检测法是在管道运输物质中加入稳定且易挥发的伴随气体，检测管道外是否有伴随气体溢出。该方法简单易行但受周边环境和探测器精度影响较大。热红外线成像法的原理是实时检测管道周围土壤温度是否变化，主要用于对加热油品输送的检测。该方法定位较准确，可实现对某些难以接近的位置检测，但不适用于低压设备和埋设较深的管道。超声波方法检测速度快、定位准确，但受管壁上结蜡、污泥和稠油等附着物的影响，声波衰减严重，容易发生误判，且该方法受温度影响较大。

在输油管道检测过程中，需要将流量计安装在管道的上、下游站以获得对应的流量。管道若没发生泄漏，则上下站点的流量差在选定时间间隔内将会保持在某一个特定的数值[41]。上下站点之间的流量差明显增大的时候达到报警阀值时，则可以判断出在该段发生了泄漏[42]。检测管道多点位的输入和输出流量，就可判断泄漏的程度及大体位置[43]。流量平衡法泄漏检漏过程直观、简便、具有自适应能力、不需要复杂的模型、可靠性较高、投资成本低、设备简单。但是检测精度受仪表精度的影响、检漏周期长、定位困难、无法实现预警、误报率较高。在基于流量的互相关检测中，输油管道内虽然压力在正常工况下可能发生会发生波动，但是正常运行时流量连续不变。通过对测得的管道起始段、终点段传输的流量信息进行互相关分析，从而判断是否发生泄漏[44]。互相关分析法灵敏度高、定位准确、适应性强。但是其只能检测输油管道突发性大泄漏，对缓慢渗漏不敏感，容易出现误报[45]。

液压管路泄漏初始时一般以微小泄漏为主，其产生的超声波信号相对较弱，故使用超声波法检测液压管路泄漏不合适。声波法精度高，检测速度快，但仅适用于特殊管道，且抗干扰能力差，液压管路排布不均且时常发生振动，故使用声波法并不合适。负压波法适用性强、泄漏点定位精度高，但同样受液压管路微小泄漏及振动影响，导致漏报和误报。流量平衡法检漏过程直观、简便、具有自适应能力，但其检漏周期长且定位困难，在对液压管路泄漏进行预警时无法满足实时性和泄漏点的精确定位。分布式光纤检漏技术可应用于高压环境且安全、使用年限长、灵敏度高，但其应用成本较高，且同样易受环境的影响。因此，提出新的检测方法，对于实现液压管路泄漏的准确检测和实时检测具有理论意义和工程应用价值。

1.3.4 基于机器视觉泄漏检测国内外研究现状

在国内，饶中钰[46]针对井下泵房的漏水检测问题，提出了一种结合运动目标检测以及卷积神经网络分类算法的检测策略。2007年，张玉峰等[47]通过对渗漏荧光图像的采集, 图像的计算机处理, 获取渗漏油迹信息，计算油迹图像轮廓边界的膨胀面积, 达到对油液渗漏的定量检测。2015年，刘利[48]基于近红外光谱法与荧光光谱法，提出了一种基于光谱和成像分析的液体包装检测系统。2016年，唐璟等[49]通过对石油和天然气泄漏成分及其红外吸收特性的分析，研究了基于背景动态范围压缩的方法和基于气体边缘迁移的方法，对油气进行快速定位与检测。2019年，解卿先等[50]基于卷积神经网络对液体管道进行泄漏评级，并设计了基于GAP 全局池化技术的分类器架构，提升了分类准确率。2021年，张晋博等[51]通过视频图像对管线阀门进行渗漏检测，提出了一种基于深度学习自动特征提取与基于视频序列手动特征提取想结合的方式。

在国外，Son等[52]使用闭路电视摄像机采集的图像中的摄像机。通过图像处理对泄漏进行检测。2019年，Fahimipirehgalin等[53]提出了一种基于红外视频热像数据分析的泄漏检测方法。相邻的帧被减去以消除背景和揭示泄漏的水滴的运动，然后采用主成分分析方法对减影图像进行特征提取，利用k -最近邻算法将视频分为正常(无泄漏)和异常(泄漏)两类。2020年，Hossain等[54]提出了一种基于无人机红外图像的区域供热系统地下管道能量泄漏自动检测方法。

综上，由于液压油泄漏一般以微小泄漏为主，且因为液压油粘度较大，故一般都是先在管接头或泄漏裂缝和裂洞处缓慢堆积，先形成渗漏再慢慢滴漏，同时泄漏处管路及接头外表面易受污染，这与前述泄漏检测方法的应用场景有较大区别。为此，需提出新的图像识别方法实现液压管路渗漏检测，以提高设备运行可靠性、降低运维成本、减少油液浪费和对环境的污染。

2. 主要参考文献（原则上不少于50篇，其中外文文献不少于15篇，且参考文献须在报告正文中标注引用）

[1] 金伟. 液压技术的研究现状及发展趋势[J]. 科技创新导报, 2020, 17(09): 97-98.

[2] 张希鹏. 机械液压传动系统泄露分析及有效控制[J]. 化工管理, 2018(15): 186-187.

[3] 姜广美. 液压传动系统的泄漏分析及应对措施[J]. 湖南农机, 2012, 39(01): 86-87.

[4] 程荃, 王强. 某型火箭炮液压泄漏的检测与控制[J]. 装备指挥技术学院学报, 2008(03): 109-112.

[5] 孙小凯. 基于机器视觉的液压元件渗漏检测系统研究[D]. 南京航空航天大学, 2018.

[6] Fahimipirehgalin M, Trunzer E, Odenweller M, et al. 利用机器视觉技术对化工厂管道进行自动视觉泄漏检测与定位[J]. Engineering, 2021, 7(06): 123-161.

[7] 方志宏, 傅周东, 陈章位. 基于 BP 神经网络的液压系统泄漏故障诊断[J]. 机械科学与技术, 1998(01): 120-122.

[8] 方志宏, 傅周东, 张克南, 等. 基于压力积分的液压系统泄漏故障诊断方法[J]. 中国机械工程, 2000(11): 71-73+6.

[9] 潘宏, 傅周东, 陈章位. 基于小波分析的液压系统泄漏检测[J]. 机械科学与技术, 1998(04): 124-126+136.

[10] 于文征. 柱塞泵泄漏故障智能诊断系统研究[D]. 南京理工大学, 2002.

[11] 杜文正, 周召发, 黄先祥. 小波分析在液压缸泄漏检测中的应用[J]. 机床与液压, 2003(06): 318-319.

[12] 罗守华, 颜景平, 王积伟. 基于小波包分析的液压系统泄漏故障诊断新方法[J]. 制造业自动化, 2004(03): 70-72.

[13] 邹俊, 傅新, 黄硕, 等. 基于主成分分析的液压泥炮系统泄漏监测[J]. 浙江大学学报(工学版), 2009, 43(02): 197-201.

[14] 周小军. 基于AMESim液压系统泄漏仿真与故障诊断研究[D]. 国防科学技术大学, 2012.

[15] 陈立. 液压缸内泄漏故障的声、振检测关键技术研究[D]. 内蒙古科技大学, 2014.

[16] 于升飞. 三峡升船机防撞缓冲液压系统内泄漏故障仿真与诊断方法研究[D]. 武汉理工大学, 2020.

[17] Goharrizi A Y, Sepehri N. A wavelet-based approach to internal seal damage diagnosis in hydraulic actuators[J]. IEEE transactions on industrial electronics, 2009, 57(5): 1755-1763.

[18] Goharrizi A Y, Sepehri N. Internal leakage detection in hydraulic actuators using empirical mode decomposition and Hilbert spectrum[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 61(2): 368-378.

[19] Goharrizi A Y, Sepehri N, Wu Y. A wavelet-based approach for online external leakage diagnosis and isolation from internal leakage in hydraulic actuators[J]. International journal of fluid power, 2011, 12(2): 37-47.

[20] Nurmi J, Mattila J. Detection and isolation of leakage and valve faults in hydraulic systems in varying loading conditions, Part 2: fault detection and isolation scheme[J]. International journal of fluid power, 2012, 13(1): 17-27.

[21] Inaguma Y. A practical approach for analysis of leakage flow characteristics in hydraulic pumps[J]. Proceedings of the Institution of Mechanical Engineers, Part C: Journal of Mechanical Engineering Science, 2013, 227(5): 980-991.

[22] Rezazadeh A S, Koofigar H R, Hosseinnia S. Robust leakage detection for electro hydraulic actuators using an adaptive nonlinear observer[J]. International journal of precision engineering and manufacturing, 2014, 15(3): 391-397.

[23] Maddahi A, Kinsner W, Sepehri N. Internal leakage detection in electrohydrostatic actuators using multiscale analysis of experimental data[J]. IEEE Transactions on Instrumentation and Measurement, 2016, 65(12): 2734-2747.

[24] Sharifi S, Tivay A, Rezaei S M, et al. Leakage fault detection in Electro-Hydraulic Servo Systems using a nonlinear representation learning approach[J]. ISA transactions, 2018, 73: 154-164.

[25] Shanbhag V V, Meyer T J, Caspers L W, et al. Condition monitoring of hydraulic cylinder seals using acoustic emissions[J]. The International Journal of Advanced Manufacturing Technology, 2020, 109(5): 1727-1739.

[26] Kumar N, Kumar R, Sarkar B K, et al. Condition monitoring of hydraulic transmission system with variable displacement axial piston pump and fixed displacement motor[J]. Materials Today: Proceedings, 2021, 46: 9758-9765.

[27] Rituraj R, Vacca A. Investigation of flow through curved constrictions for leakage flow modelling in hydraulic gear pumps[J]. Mechanical Systems and Signal Processing, 2021, 153: 107503.

[28] 郑旭阳. 液压管件数据库的建立及管路布局辅助系统的开发[D]. 太原理工大学, 2017.

[29] 鲁哲新. 从结构分析液压系统泄漏问题[J]. 现代商贸工业, 2016, 37(16): 190-191.

[30] 颜君. Φ380/Φ960×1550不可逆式铝带冷轧机组液压管路渗油原因分析及处理方法[J]. 内燃机与配件, 2017(15): 83-84.

[31] 付旭鹏. 循环压力冲击载荷下环向裂纹飞机液压管路故障诊断研究[D]. 燕山大学, 2019.

[32] 郭长虹, 高静, 王阔强, 等. 循环冲击作用下缺陷飞机液压管路微泄漏故障诊断[J]. 液压与气动, 2020(07): 28-35.

[33] 王立文, 刘强, 霍金鉴, 等. 基于概率神经网络的液压管路泄漏故障程度识别[J]. 机床与液压, 2020, 48(04): 159-164.

[34] Datta S, Sarkar S. A review on different pipeline fault detection methods[J]. Journal of Loss Prevention in the Process Industries, 2016, 41: 97-106.

[35] Zhang J. Designing a cost-effective and reliable pipeline leak-detection system[J]. Pipes and Pipelines International, 1997, 42(1): 20-26.

[36] 冯坤. 基于FBG压力传感的管道泄漏检测技术研究[D]. 武汉理工大学, 2018.

[37] 金梅. 基于负压波泄漏检测的系统配置方式研究[J]. 石油化工自动化, 2019, 55(03): 87-90.

[38] Arifin B, Li Z, Shah S L. Pipeline leak detection using particle filters[J]. IFAC-PapersOnLine, 2015, 48(8): 76-81.

[39] 白永军. 输油管道泄漏情况研究及泄漏检测技术的发展[J]. 科技展望, 2015, 25(07): 128.

[40] 吕君达. 输油管道泄漏检测技术研究与应用[J]. 化工管理, 2014(03): 59-60.

[41] 李新建, 邓雄. 基于负压波和流量平衡的管道泄漏监测系统研究[J]. 石油和化工设备, 2009, 12(01): 30-34.

[42] 王立坤, 王洪超, 熊敏, 等. 长距离输油管道泄漏监测技术分析及研究建议[J]. 油气储运, 2014, 33(11): 1198-1201.

[43] 张弢甲, 富宽, 刘胜楠, 等. 基于流量平衡法的泄漏识别改进算法[J]. 管道技术与设备, 2017(04): 19-22+28.

[44] 胡世杰, 尹维臣, 李绍文, 等. 相关函数及其在管道泄漏检测中的应用[J]. 油气储运, 2011, 30(03): 200-202+5.

[45] 王爱民. 相关分析在管道泄漏技术中的应用[J]. 合肥工业大学学报(自然科学版), 2004(09): 1063-1065.

[46] 饶中钰. 机器视觉在煤矿泵房智能监控系统的应用研究[D]. 中国矿业大学, 2020.

[47] 张玉峰, 周仁斌, 李敏睿. 基于计算机图像识别的荧光油液渗漏检测方法研究[J]. 机床与液压, 2007(10): 168-170.

[48] 刘利. 基于光谱和成像分析的液体包装泄漏检测系统[D]. 浙江大学, 2015.

[49] 唐璟, 罗秀丽, 刘绍华, 等. 石油和天然气红外成像检漏[J]. 激光与红外, 2016, 46(01): 62-66.

[50] 解卿先. 基于无线广域网的化工企业电子巡更系统研究与设计[D]. 东南大学, 2019.

[51] 张晋博. 基于视频图像的管线阀门渗漏检测技术研究[D]. 电子科技大学, 2021.

[52] Son K-S, Choi Y-C, Park J W. Oil leakage monitoring system by using image processing[C]. 2011 11th International Conference on Control, Automation and Systems, 2011: 355-356.

[53] Fahimipirehgalin M, Trunzer E, Odenweller M, et al. Automatic visual leakage inspection by using thermographic video and image analysis[C]. 2019 IEEE 15th International Conference on Automation Science and Engineering (CASE), 2019: 1282-1288.

[54] Hossain K, Villebro F, Forchhammer S. UAV image analysis for leakage detection in district heating systems using machine learning[J]. Pattern Recognition Letters, 2020, 140: 158-164.

(二)研究方案

1. 研究内容、研究目标及拟解决的关键科学问题

（1）研究内容

针对视频图像预处理、管路及接头定位与识别、图像增强预处理与运动区域提取等方面开展研究工作，主要内容如下：

1）视频图像预处理

通过对常见液压系统场景进行分析，总结出液压管路对周围环境视频实时检测的影响，故需通过一些算法来提高视频中成像的质量，本次主要以常见的滤波去噪和均衡化方法为主。

2）管道及管接头区域识别与定位

为提高计算的准确率，本文先通过对视频中的管道与管接头进行识别，构建新旧管路主要渗漏元件的样本数据集，之后进行对数据集图像进行预处理，最后使用深度学习算法对视频图像进行检测。

3）新管接头与新硬管路的图像增强算法

考察发现，新管接头与新硬管属于强反射表面，当在管接头管壁处或管道壁处出现液压油，无法将其准确的区分，引入图像算法来提高图像的对比度，增强图像细节和视觉效果，并且有效地抑制噪声的影响，突出新管接头中渗漏油液的显示，方便之后的油液渗漏检测。

4）疑似运动区域提取与液压油泄漏识别

本文为实现对液压管路漏油区域的自动检测，本文尝试结合漏油的动态特性与形态特性，提出一种基于运动目标检测与卷积神经网络分类模型相结合的检测策略。主要步骤包括基于运动目标检测的疑似漏油区域识别，搭建分类模型并对疑似漏油区域进行判定。

5）实验验证

通过模拟不同的液压管路系统的工况环境，并手动制造渗漏现象来对本次算法进行验证与评价。

（2）研究目标

液压管路泄漏会影响液压系统工作可靠性和设备安全性、造成环境污染和油液浪费，而对管路微小泄漏即渗漏的检测一直是技术难点。本课题针对液压管路的渗漏检测，拟提出一种基于深度学习的检测方法，以提高渗漏检测准确性，减少对人工目视检查的依赖和荧光剂法对系统的影响。

（3）拟解决的关键问题

1) 图像增强算法。新的管接头与硬管道属于强反光金属，不便于观察油液在其表面的动态特性，基于此为使液压油与管接头的在图像上对比更加明显，需引入图像增强算法，来增强液压油与管接头表面的对比度，本文首先对光照不均匀图像算法进行研究，均衡图像中的光照分量，之后对各种滤波进行分析与比较，选择较为合适的滤波方法。

2) 液压油渗漏识别。首先利用背景建模法对疑似运动目标前景提取，以视频开机的第一帧为背景帧，这里的前提是当进行检测时，液压管路系统是无液压油渗漏的。通过实验设定液压油动态范围的阈值，来消除背景噪声及人为因素等造成的影响。最后要建立液压油在液压管路上的样本数据集，本文主要以液压油在管壁流动和液压油滴的图像为主。定位区域中一旦检测结果为渗漏时，此区域即停止检测。

2. 拟采取的研究方法、技术路线、实验方案及其可行性分析

（1）研究方法

1) 视频图像预处理

液压系统中的液压管路排布错综复杂，且包含弯管、直管、胶管、硬管等多种类型，分布区域也高低不同，由于车间上的灯主要用于照明，导致其在管路处会出现光照不均的现象降低了图像的质量，不利于图像的后续处理。因此，图像预处理技术的应用显得尤为重要。当光照较差时，视频监控得到的图像会变暗，不利于图像后期的信息提取，这时需要增强图像的对比度。首先利用直方图均衡化通过变换原始图像的像素灰度，使其概率密度均匀分布，从而增加图像灰度的范围，提高图像的对比度。同时在视频监控信号的传输过程中，常用的信号传输电缆的抗干扰性能较弱，当外部存在干扰讯号时，视频画面的质量通常对受到噪声的影响，严重阻碍了图像特征提取，进而影响目标检测。为了有效的去除图像中干扰因素，获得的增强后的视频图像，在进行视频检测之前，首先对液压系统下的视频图像进行高斯滤波处理。

2)液压管接头与管道的定位

液压管接头与管道定位的具体步骤注意为：新旧渗漏元件的采集，数据集构建，相关网络模型算法的比较与确定，网络模型训练结果分析与评价。新旧渗漏元件的采集主要分为线上与线下，在线上利用网络爬虫，相关液压网站图片下载，相关文献图片截取等方式，在线下通过硬件系统搭建的平台分别拍摄不同工况下的元件，同时利用手机拍摄、相机拍摄等方式进行采集。之后对于拍摄不稳定的，特征不明显的视频或图像进行剔除，另外为使特征明显，减少网络模型的计算量，在输入进网络模型之前进行图像预处理，包括图像裁剪，标注与滤波去噪等，之后再按照一定比例划分验证集、训练集和测试集。由于工厂内存在管子振动、光线明暗变化、工人走动、管壁存在污点等情况。基于传统的图像处理方法误差较大易发生漏检与误检，基于深度学习算法可提高其鲁棒性和准确性，这里拟选择单阶段与双阶段的两种典型深度学习网络模型进行比较即yolov5与Faster-Rcnn，训练时采用迁移学习、加入dropout层、稀疏连接层、注意力机制等方式以防止过拟合。最后对训练结果进行分析，选择适合的深度学习网络。

3)强反射金属的图像增强

当利用相机拍摄新管接头下的表面图像时，会发现其表面会出现明显的光照不均或高光饱和区域，为消除或降低光线对后续检测的影响，因此对图像预处理时，本文首先对光照不均匀图像算法进行研究，均衡图像中的光照分量。对高反光金属工件图像进行光照不均算法校正后，图像中仍会夹杂多种冗杂噪声，因此滤波工作尤为关键。综合时域及频域的滤波算法，选择具有代表性和优秀处理结果的算法，在本论文将其滤波原理展开分析，并进行相应的改进。

 4) 疑似运动区域提取与液压油泄漏识别

首先针对漏油区域会出现漏油以及油流动等动态情况，采取动态目标检测的方法来初步确定运动目标区域，并将这些运动目标区域定义为疑似漏油区域。其次，液压系统内可能同时存在其他动态目标，比如行人、光照变化等。因此在初步判定动态目标区域之后，需要对其进一步处理以确定是否为漏油区域。在此过程中需要对检测出来的漏油区域进行分割提取，针对提取到的疑似漏油区域按照其是否漏油划分正负样本，构建数据集，再依据所构建的数据集进行建模分析，得到分类模型，最终依照所构建的分类模型判别疑似漏油区域是否存在漏油情况。

5) 实验验证

首先挑选不同种类和新旧的管接头，这里主要是扣压管接头和扩口接头，另外挑选不同的新旧橡胶管和碳钢管，将其按照横管、竖管、斜管排布，以尽可能满足液压系统实际工况，最后通过手动拧松螺丝、管路上方滴油等方式手动模拟泄漏现象，通过改变不同的拍摄角度，来对液压管路渗漏进行检测。

（2）技术路线

为实现液压管路渗漏检测，通过液压渗漏实验模拟法、不同网络模型比较法、泄漏量与泄漏程度理论分析法等方法进行在线检测平台的研究，具体技术路线见图1。

图2  研究技术路线

(3)实验方案

液压管路渗漏图像视频检测实验研究：设计不同的渗漏工况；液压油渗漏前景运动目标提取；深度学习运动目标识别，分析实验结果，得出结论。

图3  检测系统框图

(4)可行性分析

随着机械设备在各行各业的普遍应用，由于液压管路渗漏带来的危害不断升高，而液压管路泄漏检测的实际应用还不普及，国内输油管路检测设备大多采用精密仪器，且价格昂贵，在此背景下，本课题提出一个快速、高效，准确，价廉的解决方案，具有十分重要的可行意义；先进行视频图像预处理，先进行管接头与管道定位以减少计算量和提高准确性，在对强反射金属进行图像增强算法，最终达到液压管路检测的需要；实验所需设备和材料实验室是具备的，因此，通过搭建实验台验证模型设计是可行的。

3. 研究创新点

1）搭建专门的硬件采集系统，以消除新装管道或管接头由于反射光带来的影响。

2）对液压油进行实时检测，分别设计不同的泄漏工况，对液压油的渗漏进行定性与定量的判定。

4. 研究计划及预期研究成果

（1）研究计划

2021.09-2021.10调研、查找相关论文并初定总体方案。

2021.11-2021.12 液压管路泄漏图像视频数据采集，做模拟实验模拟泄漏量

2022.01-2022.03 搭建数据采集平台，并设计相关算法

2022.04-2022.05将硬件系统和软件系统结合做调试，进行实验验证，做好写小论文的准备工作。

2022.05-2022.06对小论文进行改进，拟发表小论文。

2022.07-2022.11对研究课题进行总结，完成论文初稿。

2022.12-2023.03完成论文终稿。    

2023.03-2023.06论文修改及答辩。