将图片通过高通滤波进行锐化处理_红外热像无损检测图像处理研究现状与进展...

本文内容转载自《红外技术》2019年第12期，版权归《红外技术》编辑部所有。

孔松涛，黄镇，杨谨如

重庆科技学院机械与动力工程学院

摘要：红外热像是目前被广泛应用于各个领域的一种无损检测技术，但因设备的不足和使用环境的影响，红外图像会出现低分辨率、低对比度、低信噪比等缺陷，这无疑会对缺陷的定性和定量识别带来很大的困难，所以红外图像的处理则成为了无损检测中极其重要的环节，对整个工业领域的发展起着促进作用。本文介绍了红外技术中图像处理部分，包括预处理和图像识别；列举了目前在图像预处理阶段被广泛使用的处理技术，如神经网络、视网膜皮层、数字细节增强、Contourlet变换等技术，并简要列出其优缺点；介绍了主要运用于复合材料检测中的图像识别技术，如：温度信号重构、脉冲相位法、主成分分析、独立成分分析、区域生长法等技术，并给出了学者们的部分实验结果和实验结论；最后总结了该技术的发展趋势。

关键词：红外热像；红外无损检测；图像预处理；图像识别

0 引言

红外热像(infrared thermography)是目前运用非常广泛的一种快速高效的无损检测技术，通过外部施加的热或冷激励使被测物体内的异性结构以表面温度场变化的差异形式表现出来，从而达到缺陷部位的定性和定量分析。其成像原理是利用红外探测仪将接受到的被测物体的红外辐射映射成灰度值，再转化为可视温度分布图(红外热像图)。最早在二战末期应用于军事侦察领域，因其本身具有快速高效、无需停运、无需取样、可进行无污染、非接触、大面积检测、以及其直观成像等优点，而被作为复合材料的无损检测技术应用于工业领域，如航空航天、机械、油气、建筑等领域。

1 红外热像技术的发展现状

自20世纪以来，红外热像技术得到快速发展。20世纪90年代，美国无损检测协会和材料试验协会针对红外热成像技术指定了相应标准，并在无损检测手册红外与热检测分册中描述了基于红外热像的无损检测技术在各个领域的运用。目前美国、俄罗斯、法国、德国、加拿大、澳大利亚等国已将红外热像技术广泛运用于航空航天复合材料构件内部缺陷及胶接质量的检测、蒙皮铆接质量检测等。近年来，红外热像技术与智能手机、无人机等设备充分结合，并在各个领域广泛使用，如美国的Fluke和FLIR、德国Testo、国内武汉高德、浙江大立等企业。

国内的红外热像检测技术比欧美、俄罗斯等发达国家起步较晚，但经过十几年的发展，目前也取得较为显著的成果。中国特种设备研究院和武汉工程大学将红外热像技术运用于压力设备缺陷检验，取得了一系列显著的成果。西南交通大学、昆明物理研究所、北京航空材料研究院、北京理工大学、西北工业大学等将红外热像技术运用于航空航天夹层结构件的缺陷检测，取得了有效进展。在石油化工领域，各位学者将红外热像技术用于高温高压容器和管道的缺陷、保温层破损、以及内部液体流动情况的检测，也取得了许多成果。

2 红外图像预处理

红外技术应用的核心工作在于图像的处理及利用，不仅在无损检测领域，在军事监测、人脸识别等领域的应用更加重要。红外图像的处理主要分为图像预处理和图像识别，预处理是开展后续工作的基础，其主要分为图像的非均匀性校正和图像增强两个方面。

2.1 图像的非均匀性校正

由于材料、生产工艺等因素，红外设备探测元存在响应不一致的问题，因此导致红外图像的非均匀性，其严重影响了成像的质量。目前非均匀性校正算法主要分为两大类：一类基于标定的校正算法，如两点校正算法、多点校正算法、多项式拟合算法，具有算法简单、精度高等优点，所以被广泛使用。另一类基于场景的校正算法，如时域高通滤波算法、神经网络算法、统计恒定法在克服红外焦平面器件响应偏移误差方面存在优势，但相关硬件要求较高，且算法复杂耗时。

两点校正法是开展最早、且最为成熟的算法之一，其原理简单，计算量小，目前仍被广泛使用。该校正算法是建立在两个假设条件下：一是每个探测单元的响应是线性的；二是探测单元的响应具有时不变性，其原理如图1所示。

图1 两点校正示意图

但两点校正法是假设探测单元的响应是线性的，但实际情况却更为复杂，因此在两点校正法的基础上提出了多点温度校正算法。多点校正的实质是在图像上选取多个温度点，就相邻两点之间进行两点校正，所适用的温度范围也就更广。中国科学院沈阳自动化研究所、中国科学院长春光学精密机械与物理研究所、中国科学院大学等验证了多点温度校正法实时性的优点，且有效提高非均匀性校正的精度。

随着科技的发展，红外热像技术的运用也更加广泛，被测物体以及检测环境的复杂程度也越来越高，基于标定的校正方法已经逐渐跟不上发展的需求了。而国内外的学者也逐步投入更多精力在基于场景的非均匀校正方法的研究上，早在20世纪90年代，美国海军研究实验室的D.A.Scribner等人提出了基于神经网络的场景非均匀校正算法。王娴雅等人通过分析了传统的周期性神经网络自适应非均匀校正方法在采用局部领域数据估计输出期望时其精度不够，从而提出一种利用当前像素领域和读出通道估计输出期望值的方法。该方法可有效抑制焦平面固定图案噪音，提高被测目标的分辨率。在优化单层所使用的期望函数上，B.Chen等人提出双层学习神经网络算法，在不同的神经网络层使用不同的期望函数，双层神经网络之间优势互补，同时具备非均匀性校正效果和改善图像清晰度，获得了更高质量的红外图像，该算法与其他改进BP神经网络算法比较结果如表1所示。

表1 非均匀性校正评价

但在使用神经网络算法进行图像的非均匀校正时，收敛速度和重影是一对矛盾的存在。一般说来，如果想更好地抑制重影，神经网络算法的收敛速度就越慢。因此Li Yiyang等人针对该问题提出了一种自适应门限边缘检测与时域门限相结合的学习速率规则。该算法在保证快速收敛的同时，能很好地抑制重影伪影。通过实验结果表明该方法的消影能力强于其他基于神经网络的非均匀性校正算法。

2.2 图像增强处理

由于红外信号波动范围很大，再加上硬件设备本身存在的缺陷和环境因素的影响，在将其转换为适于人眼观看的可见光图像时，易造成图像的模糊、细节丢失、对比度低下等问题。因此，获取成像清晰且对比度高的图像，是红外图像处理中的一项重要技术。传统的红外图像增强技术主要分为空域图像增强和频域图像增强两类，具体分类如图2所示。空域是指该图像的所有像素集合，是通过对图像中像素灰度值进行处理来达到增强效果的，如灰度值变换、直方图均衡技术、图像平滑和锐化处理、伪彩色处理等技术。频域图像增强是对图像经傅里叶变换后的频谱成分进行操作，然后逆傅里叶变换获得结果，包括低通滤波技术、高通滤波技术、同态滤波技术等。一般情况下，某一类算法只能解决图像中出现的一种问题。因此，针对现实中红外图像出现的复杂问题，为了提升图像处理效果，往往需要多种算法结合使用。目前，在国内外学者不断研究与改进下，给出了更多性能较为完善的算法。

图2 图像增强方法分类

视网膜皮层(Retinex)图像增强理论是根据人类视觉特征来展开研究的理论，其原理是通过去除图像照射分量部分保留反射分量部分，从而获得图像本质特征，最早是在20世纪60年代，由学者Land等人提出。在其原有的基础理论上，经过半世纪的发展，改进的Retinex算法被广泛的运用于各领域。针对Retinex算法在处理图像存在失真和耗时长等问题，Wang W.、LiB.等人提出了一种快速多尺度Retinex算法，以解决基于多尺度Retinex算法的图像增强过程中颜色失真的问题，并改进了一种耗时较慢的图像增强算法的缺点。但此算法在细节处的处理仍需完善，而Hanumantharaju等人提出了一种基于改进的multiscale Retinex(MSR)算法的新的彩色图像增强技术，并使用小波能量来评估增强图像的视觉质量。实验结果证实了基于小波能量的MSR算法有效地表征了增强图像的局部和全局细节。而针对Retinex算法在降噪方面的不足，又有学者提出基于Retinex和三维块匹配(block matching 3D)的图像增强方法。实验结果证明，此算法既能很好地表征图像中的细节，又有效地降低了图像的噪声，其结果与多种算法对比如表2所示。

表2 图像质量评价指标统计数据

Contourlet变换是一种具有多方向性、多尺度性的多维函数表示方法，不仅具有小波变换的多分辨率和时频局部化特性，还具有很好的方向性和各向异性，将它应用于图像增强，能更好地保留图像边缘和纹理信息。Peng Z.等人提出了一种基于Contourlet变换与模糊理论相结合的红外图像增强算法，该算法更能有效地抑制噪声，增强图像的对比度，突出图像的边缘与细节纹理信息。ZhangXiaojie等人提出了一种基于Contourlet变换和混沌粒子群优化(particles warm optimization)的红外图像增强方法，该方法提高了图像的整体对比度和改善了弱细节的局部对比度。但是Contourlet变换不具备平移特性，易存在频谱混叠现象，因此XieYi等人提出了一种非子采样轮廓波变换(nonsubsampled contourlet transform，NSCT)的图像增强方案，通过实验证实了，该方案在增强图像细节的同时，也增强了图像的对比度。

数字细节增强技术(digital detail enhancement)由美国FLIR公司提出，是一种能够保留高动态范围图像细节的非线性图像处理方法，有利于人们对物体关键信息的获得。该方法是目前对红外图像进行增强处理最有效的方法之一，但其具体算法并未公布，因此众多学者也基于此方法的思想进行深入的研究。董静等人提出了基于DDE思想的红外图像动态范围压缩细节增强算法，该算法在全面增强图像细节的同时能够抑制图像背景中的杂波，增强弱小目标，满足图像显示视觉效果的同时，有利于在图像上进行目标提取，该算法与其他算法对比结果如图3所示。可以从对比图像明显的观测出采用DDE技术在图像的纹理、轮廓等细节部位显示效果突出，且色彩对比度清晰，成像质量高于其他算法。

图3 算法结果

刘婷婷等人在DDE数字细节增强技术研究的基础上，提出了一种新的基于图像分层处理的红外图像细节增强算法。该算法根据灰度分布特点将图像分为基图部分和细节图部分，对于基图部分采用两端截取式的灰度线性映射方法，针对细节图，作者提出了S曲线灰度变换方法。经实验证明该算法在视觉效果上得到改善，细节信息得到有效增强。国防科技大学、北京理工大学、重庆大学、电子科技大学等高校围绕DDE技术在红外图像细节增强算法方面进行了大量的实验研究，获得了质量更高的红外图像。

3 红外图像的识别

3.1 常用红外图像识别方法简介

红外图像的预处理往往只是将被测缺陷以适合人眼观察的状态从复杂的背景图中显现出来，但这只能解决部分问题。图像进一步的处理，则需要针对性更强的方法，如在无损检测中，目前应用最为广泛的图像分割方法有：边缘检测和区域生长法。边缘检测的目的是检测出图像中亮度变化较大的点，主要是物体的边缘和背景处。其通常分为两类，一是通过图像一阶导数的最值来检测边缘，如Sobel、Canny算子；二是通过图像二阶导数的零值来获取边缘，如Laplace算子。这些算子都是图像处理中常用算子，故不作过多解释；区域生长法的实质是从一个小区域或像素点开始，将周围与其特征相近的像素点融合，从而形成更大的区域。由于初始种子的选择，该方法容易出现过生长或者欠生长等问题。因此，区域生长法的改进也一直是研究人员的工作重点。

在无损检测领域中，常用的图像缺陷特征提取的方法有：主成分分析(principal component analysis)、独立成分分析(independentcomponent analysis)、脉冲相位法(pulse phase infrared thermography)、温度信号重构法(thermal signal reconstruction)等方法。主成分分析法是一种将多指标化为少量综合指标的方法。图像的本质是像素矩阵，通过线性变换降低维度，要求得到的综合变量要尽可能多的包含原始图像信息，且各不相关。虽然该方法降低了信息的复杂度，但也丢失了一部分原始图像的特征；独立成分分析法是在主成分分析法上进一步发展而来，其目的是将获得的数据进行某种线性解分，使其分解为统计独立的成分。该方法解决了主成分分析法难以消除非高斯信号之间关联性的问题，但这也是使用独立成分分析法的一个前提；脉冲相位法是将获得的每个像素值对应的温度信号做傅里叶变换，进而作频谱分析。其依据不同频率的热辐射在不同深度和大小的缺陷中传播和反射的结果不同，由此获得材料中的缺陷信息，但是该方法受环境影响因素较大。温度信号重构法主要是利用表面温度在物体和空间上的变化信息，对红外图像每个像素值的时间信息进行处理，将对应点温度响应曲线从时域转换到对数域，从而增强图像信息。

在复杂的工程环境下，任何单一方法都无法满足实际需求，因此，多种方法的结合和完善才是研究的重点。

3.2 部分学者研究成果

在基于红外热像的复合材料无损检测识别研究过程中，梁涛等人在研究复合材料受冲击损伤后缺陷的特性时，没有发现分层缺陷引起的“暗区”，且整体的纤维结构分布较均匀，给直接评估缺陷带来困难。针对该问题，作者提出结合PCA和小波变换法来进行缺陷的特征提取，新的算法具备了时域-空域-频域等多维度的特征提取能力，再通过阈值分割对图像进行二值化处理消除背景，使缺陷信息更加明显。

另外作者针对复合材料出现的脱粘缺陷采用了不同的图像序列算法进行实验对比，包括温度信号重构、脉冲相位法、主成分分析、独立成分分析，最终证明TSR和PCA在缺陷特征提取方面效果更好，如表3。再采用区域生长法对TSR获得的特征图进行分割和K最邻近(K-nearestneighbor，KNN)分类算法进行分类识别，最终成功检测出金属结构材料的全部缺陷(最小直径2mm)和蜂窝芯结构材料大于3mm的缺陷。

表3 不同算法检测效果评估

注：TP表示被检测出且实际存在的缺陷；FP表示被检测出却不是实际存在的缺陷；FN表示实际存在却没有被检测出的缺陷；TN表示不存在也没有检测出来的缺陷；P表示缺陷检测准确率；R为召回率；F表示P和R的加权调和平均。

在进行图像分割时，考虑到传统的区域生长法会引入人为的主观因素，冯琪智等人提出了一种用于分割的自动区域生长算法，即自适应寻找预处理对象、种子点和阈值。通过实验后，采用F-score值进行评价。在检测薄板时，各种方法差异不大；但是在检测厚板时，差异效果明显，且采用自动区域生长法进行处理之后，缺陷检出率有所提升，部分检出结果对比如表4所示。

表4 不同算法的F-score

针对传统区域生长法初始种子难以选择的问题，陈跃伟提出一种改进的区域生长法，即利用最小二乘法拟合出红外图像中亮度和温度之间的线性关系，建立基于像素温度场，从而根据设定温度范围来确定种子的位置。该学者将此区域生长法和BP神经网络结合用于巡检机器人电站设备的检测。经过实验证明，在400幅设备红外图像中，图像的正确识别率92.74%，错误率5.78%，未识别率1.48%。

刘鑫等人利用基于阈值改进的形态学边缘检测算法，检测积水管道的红外图像，并与中值滤波、维纳滤波、传统形态学等方法处理的图像作对比，峰值信噪比(peak signal to noise ratio)情况如表5所示。而该方法的图像分割能力比传统的Canny、Sobel、Roberts等算子处理效果更好。

JiangHongquan等人提出一种基于纹理特征和主成分分析的焊缝缺陷特征提取与分类的方法。实验结果表明，此方法可有效提取缺陷类型的一般特征，分类准确率达90.4%。

表5 不同算法PSNR值

注：PSNR为峰值信噪比，值越大表示处理效果越好

ZhouJianmin等人在研究孔洞类型的缺陷时提出了PCA和概率神经网络(probability neural network)结合的算法。实验结果表明正常区域和异常区域识别率分别可达95%和85%。同时，该学者又提出了一种基于遗传算法和序列红外图像热像加权叠加的检测方法，经此方法处理后，缺陷与正常区域的灰度比分别提高到8.5%和31.0%，缺陷特征明显增强。

4 结束语

红外热像技术因其非接触、无污染、高效率，在航空航天、机械、建筑、油气等领域得到广泛的应用。随着科技的发展，该技术逐步从工业领域走向群众的生活领域是必然的趋势，如FLIR红外设备与手机的结合，智能手机所带的红外识别等。为了使该技术给社会带来更大的便捷，其未来的发展方向应有以下几点：

1)技术的标准化和统一化

由于红外热像技术应用领域较为广泛，各行业之间因术语不规范和定义不明确，造成交流不便。如大家都在滥用术语“缺陷”，而拒绝使用术语“缺欠”、“不连续”等。但是，它们之间的定义是有很大差别的。

2)检测向智能识别方向发展

现阶段在进行缺陷判别时，大多数时候还是靠人工判断，其准确率易受检测人员的主观因素影响。但随着工业4.0和“中国制造2025”的要求，检测方法的智能化、无人化是未来的发展趋势。

3)定性检测向定量检测发展

目前的检测技术主要还是用于物体损伤的定性判别，在定量检测方面误差较大。但随着硬件设备和红外图像处理技术的发展，实现对缺陷深度、面积和位置等信息的快速反演是必然的趋势。

4)多种检测手段结合使用

目前无损检测很大一部分是用于在线检测，由于考虑到时效的问题，检测手段比较单一，特别是在图像处理的过程采用的算法也较少和较为简单，这样检测效果难免会有不足之处。但是随着该技术的发展，将红外技术与其他技术结合，如超声检测技术、涡流检测技术等，以及优化后的多种图像处理算法结合，则可实现更快速、更高效的检测，节省大量的人力物力。

延伸阅读：

《非制冷红外成像仪和探测器技术及市场趋势-2019版》

《基于FLIR ISC0901微测辐射热计的Autoliv第三代汽车夜视摄像头》

《FLIR非制冷型长波红外热像仪机芯：Boson》