最近在做的事情-基于模板匹配的接插件检测方法(文章已发表)

基于模板匹配的电子元器件针脚检测方法^*

 

郑顺义¹  周朗明¹   王晓南¹    胡华亮¹

（1 武汉大学遥感信息工程学院，湖北 武汉 430079）

 

摘  要： 相关系数法模板匹配是数字摄影检测中的一种经典的基于灰度的匹配方法。本文提出了一种基于模板匹配的电子器件针脚检测方法，以实际针脚影像和自动生成的标准模板的相关系数作为匹配测度以确定针脚的实际位置。同时为了达到生产流水线快速检测的要求，首先在粗一级的金字塔影像上获取初始位置再反算到原始影像进行精密定位，试验结果表明该方法的定位精度高，速度快，可以满足工业检测的要求。

         关键词： 相关系数；模板匹配；金字塔影像；针脚检测

         中图法分类号：TP317.4        文献标示码：A

 

PIN Detection of Electronic Components Based on Template Matching

ZHOU Lang-ming¹ ZHENG Shun-yi¹ WANG Xiao-nan¹ HU Hua-liang ¹

（1 School of Remote Sensing and Information Engineering, Wuhan University, Wuhan, Hubei, 430079）

 

Abstract: Template matching with correlation coefficients is a basal gray-oriented matching method. This paper proposed a method of pin detection based on template matching. The real position of a pin is determined by the correlation coefficient of the image of pin and the standard template. And in order to meet the requirement of rapid detection in the product line, the system first gets the initial position in the Pyramid Image, then gets the precision position in the original image. Test results proved the method with high accuracy and high speed and it could meet the requirements of industrial detection.

Key words: Correlation Coefficients; Template Matching; Pyramid Image; Pin Detection

0 引 言

随着大规模集成电路和半导体工艺的发展，工业检测领域上出现了许多针对电子元器件的检测需求，高精度和在线检测是这些检测系统的共同特征。图1是几种典型的针脚(PIN)器件。左边元件的针脚个数为9个，右边的两个元件的针脚个数均为19个，随着CPU和各种串并行接口等制造工艺的发展，有些器件的针脚个数还会超过1000个。器件上的每个针脚都有其特定的物理意义，其位置的确定十分重要。由于受到实际生产针脚器件的设备精度的影响，针脚的实际位置可能会和图纸设计的距离有所偏离，如果偏离大于设定的误差值则属于不合格的产品，不能流入市场。单个针脚的大小一般都小于1 ，误差一般要求在50~100 ，类似微小物体的检测不可能依靠人眼，研究专门的检测系统非常有必要。类似的非接触检测在几何尺寸检测，外观检测、遥感测量、机器人视觉以及医疗诊断等领域有较广的应用，主要的实现方法有摄影测量法、光测法以及利用图像传感器测量等诸多方法^[1]。检测系统一般需要安装在工厂的流水线上，因此要求具有高精度和在线检测的能力：高精度确保针脚检测的准确性从而有效降低质量控制成本；在线检测能极大地提高生产效率。为此本文研究了一套基于数字摄影测量的针脚视觉检测系统。

 

[1]

图1 待检测的电子元器件图        图2 电子元器件检测系统硬件构成

 

1 系统构成及检测目标

针脚视觉检测系统包括硬件系统和软件系统两部分。硬件系统负责图像获取，软件系统负责数据处理并得出检测结果。其中，硬件系统包括以下几部分：

(1)成像设备：CCD或CMOS的工业相机，要求像素在

100万以上。本文中的试验系统采用的是分辨率为1600*1200的工业相机，成像质量基本满足检测要求。利用基于32位操作系统的WDM(Windows Driver Model)视频捕捉构架—DirectShow^[2]进行影像的采集数据流的采集，作为一种高级流式媒体的应用接口，DirectShow屏蔽了硬件之间的差异，从系统设计与开发的角度而言具有较高的兼容性与通用性^[3,4],就成本和开发难度而言，非常适合本文所介绍的工业检测系统。

(2)光源：由于物体比较小，所以成像距离小，为了

采集到比较好的影像，需要设计专门的光源，这个非常重要。搭载平台：放置电子元器件同时也作为检测的基准，因此对其加工精度要求较高，一般采用钢质的不易变形的材料，同时还要求成像时和目标元器件的区分度较高。

(3)传送设备：采用机器手来放置和取走检测完毕的电子元器件，机器手和PC机的通讯一般是通过PCI采集卡来进行的。

(4)PC机：加载检测软件，同时负责向机器手发出信号。这部分也可以采用带LED显示屏的单片机。

业内评价针脚是否合格一般有三个指标：

(1)平整度：以平台为基准评价针脚距离平台的距离，是Y方向上的测度；

(2)正位度：以第一个针脚或以电子元器件的站脚为基准，评价每个针脚到基准的距离，是X方向上的测度；

(3)PIN间距：即相邻两个针脚中心的水平距离，是X方向上的测度。

以上三个指标若有至少一个超出限差，则认为该产品不合格。为了获取以上三个指标，一是要提取台面的位置，二是要确定站脚的位置，三是要确定每个针脚的位置，这三个任务也是本系统检测的主要目标。针脚的外形可用外接的最小矩形来拟合，这样针脚的中心及长宽就可以用矩形的中心、XY方向的边长来表达。

2 基本原理

2.1 相关系数匹配

相关系数匹配中用到的匹配测度是标准化的协方差函数^[5]，对于离散的灰度数据而言，相关系数的计算有如下的实用公式：

   （1）

其中： 和 分别为目标区和搜索区在 处的灰度值； 为目标区窗口的长和宽。

2.2 金字塔影像

金字塔影像的简易构建公式如下公式(2)所示:

          （2）

其中： 和 分别为金字塔影像和原始影像在 处的灰度值； 为金子塔影像的分辨率，金字塔影像上的一个像素对应原始影像上的 个像素。

2.3 基于模板匹配的检测算法

电子器件针脚的成像如图 3所示。针脚影像一般呈现方形的高亮区域，因此根据高亮区域的大小可以生成一个标准模板。将该模板与针脚影像做模板匹配，计算模板与影像的相关系数，相关系数最大的地方对应着针脚的正确位置，这就是本系统检测算法的根本出发点。但是由于相关系数的计算比较花时间，为了提高计算的速度，可以采用分级匹配的方法，即首先将模板和针脚影像分别生成金字塔影像，首先在粗分辨率的影像上做匹配，确定针脚的初始位置，然后在高分辨率影像上精确定位，这就是本算法的基本流程。该算法不仅保证的检测的精度，而且考虑了检测的速度，具有明显的优点。

         图3 电子器件针脚的成像图         图4金字塔影像和原始影像及其对应的标准模板

                                                                                                                                 

3 检测方案及流程

本系统的成像设备采用1600*1200的分辨率实时采集影像，但检测目标主要集中的区域只占到全部影像的1/5左右，因此合理设置检测的感兴趣区域十分重要，可大大提高检测效率。选取一个包含所有检测针脚的矩形区域，检测工作主要是在这个区域内进行。

具体采用的检测方案及流程如下：

(1)首先在感兴趣区域中利用相关系数模板(根据针脚的反光特点，标准模板应该是内白外黑且大小应该能包含针脚(如图4右下角图像所示))匹配提取出针脚的个数和初始位置，并根据设计数据进行规则化即相邻针脚的位置即是图纸中的设计数据，这样做的目的是为了下次检测相同规格的器件时如果放置得比较偏时不至于检测失败；

(2)接着生成一幅感兴趣区域的粗一级的金字塔影像(如图4左上角图像所示)(可取分辨率为2，即原始影像中每4个像素对应金字塔影像中的1个像素)及对应的标准模板，图4中的感兴趣区域的大小为1141*42，其模板大小为31*27，对应的金字塔影像的大小为570*21，其模板大小为17*15，单位均为像素；

 (3)将(1)中针脚的坐标换算到金字塔影像中，换算按公式(2)进行，按相关系数实用化公式(1)逐一计算每个针脚在临近区域的相关系数，相关系数最大的位置对应针脚的正确位置。

(4)将针脚在金字塔影像中的中心位置及外包矩形的边长按照公式(2)反算到原始影像中，重复(3)的过程，只是此时要注意移动步长可设为 和 ， 为金字塔分辨率，这样可缩短在原始影像中的计算时间，这也是使用金字塔影像的好处。

 

4 实验

利用相关系数模板匹配在原始影像上获取到初始位置，如图7所示。较准确的初值能减少迭代次数，提高运算效率。按照本文第三部提出的检测流程，在金字塔影像中提取针脚的位置，再次反算到原始影像上，对初始值进行修改，为在原始影像中进行相关系数匹配提供更为精确的初值，从而提高效率。在具备准确的初值的条件下，程序能较快的定位到精确位置，如图8所示。为了测试精度和效率，用上述方法对不同针脚连续检测，统计消耗时间和平面度、正位度以及间距三个指标。测试计算机配置为：CPU：Inter(R) Core 2 Duo T5870 2.0G；内存：1G；显卡：ATI Mobility Radeon HD 3400 Series。检测之前，首先利用量规块标定相机的放大倍数为一个像素对应 ，然后重复进行100次检测试验，共耗时41219毫秒，相当于每次检测412.19毫秒，整个检测过程中，最大跳动为8个微米。试验结果表明，速度和精度都能满足要求。    

图7 针脚初始位置

图8 针脚的精确位置

图9 针脚局部影像放大对比

对实验中，发生跳动的针脚局部影像（如图9所示）进行分析，发现有跳动的7号针脚的图像周围毛边较严重；对比没有发生跳动的13号针脚，目标与背景能很好的区分开来。因此，我们建议为了提高检测的精度和可靠性，应该尽量使电子器件保持干净，避免粘上污垢。

5 结束语

以模板匹配为基础，提出一种电子器件针脚质量检测方法，同时对提高检测的效率和精度提出了具体的措施，试验结果证明该方法是可行的。该方法的提出对同类产品的检测提供了很好的思路，具有借鉴意义。进一步提高系统检测的效率和精度是今后研究的重点。

 

参考文献

[1]张红娜，王祁.图像测量技术及其应用[J].电测与仪表，2003，40(451)：19-22

[2]Microsoft Corporation.DirectX 9.0 [M]. New York: Microsoft Corporation,2006.

[3]陆其明.DirectShow开发指南[M].清华大学出版社,2003

[4]魏立诚，朱桂林.基于DirectShow的视频采集系统的设计与实现[J].计算机工程，2005，31(14)：187-189.

[5]张祖勋，张剑清.数字摄影测量学[M].武汉大学出版社，2001：166-167

---

收稿日期：2009-03-03；修返日期：2006-04-23            基金项目：国家863项目(2006AA12Z136)

作者简介：郑顺义(1973-)，男，教授，博士后，主要研究方向为数字摄影测量与计算机视觉；周朗明(1986-)，男，博士研究生，主要研究方向为近景摄影测量与计算机视觉。