工业缺陷检测-集成电路-基于深度学习检测QFN引线框架缺陷

摘要：

本文主要分享一次集成电路相关的缺陷检测实践。先来看一下背景，缺陷检测的目标是识别出QFN引线框架上的污点缺陷并进行标记。该任务属于目标检测类任务，需要检查出0.034mm大小的污点。根据厂商提供的原始数据图像：像素面积8912x26000，实际短边宽度96mm，污点极小且没有任何数据标注。主要采用了一些图像处理方法如角点检测、霍夫圆检测、单应性变换、仿射变换等对图像进行预处理，将原始图像切分为规整的小图像，再设计一种图像重建（卷积神经网络）+图像差分检测（传统图像处理）的方法完成缺陷定位。

以下是检测污点的思路：
（1）切分图像。需要进行复杂的图像预处理，在超大的图像上进行抠图、切割、仿射变换矫正等等，得到下图中的一个个矩形块的图像。
（2）重建切分后的一个个小图像。由于数据都是没有标记的，我们考虑设计一个卷积神经网络，它具备将输入的带缺陷和不带缺陷小图像，通过编码层、解码层，重建一个几乎不包含缺陷的完美图像。
（3）缺陷定位与还原。将原图像与生成的图像进行差分，并通过检测差分图来定位缺陷。得到缺陷定位后，通过坐标转换还原到未切分的图像并导出缺陷数据，以便于工作人员查看缺陷。

（遗憾的是，最终的检查效果和速度并没有达到厂家的要求，以下仅为提供一种解决问题的思路。）

由于处理的过程较为复杂，这里不会展示详细的Code。同时需要读者需要有一点的图像基础。

图1-1 处理过程

实验环境

深度学习框架：Pytorch；图像处理：OpenCV+matplotlib+numpy。
GPU：NVIDIA GTX1650（4G）（模型训练的时候batchsize设置小一点还是够用的）

缺陷数据

QFN 引线框架常见缺陷有很多种，这里就不一一介绍了。先看下以下两种图像类型。

图3-1 一类图像

图3-2 二类图像

图像预处理过程

图像矫正

本次使用到的图像矫正方法有两种，分别对于一类二类图像使用。

• 对于一类图像：角点检查+单应性变换
  在切分出一个个小图像前，需要先将图像分割为四个区域，对每个区域进行单独切割。在切割之前，需要进行图像矫正，没有矫正的图像是有倾斜度的。矫正的过程就是通过Harris角点检测算法检测下图中的角点（cv2.cornerHarris），生成单应性矩阵$H$（H = cv2.getPerspectiveTransform(src_pts, dst_pts)），并通过单应性变换进行图像矫正。

图4-3 检测的角点

• 对于二类图像：霍夫圆检测+仿射变换
  同样的对于二类图像也需要进行倾斜度的矫正，不过采用矫正方法有所不同。先通过霍夫圆检测算法来定位两边的圆形位置（四个圆形在同一直线上，可以进一步考虑拟合一条直线），通过下面的公式可以计算出倾斜角度（倾斜角约千分之几），仿射变换允许我们对图形进行平移旋转等。我们先计算旋转中心为图像中心，在计算倾斜角。通过旋转中心和倾斜角进一步可以计算出仿射变换矩阵（H=cv2.getRotationMatrix2D），再调用OpenCV的仿射变换库函数（cv2.warpAffine）即可完成图像的矫正。$$\theta =arctan(\frac{x_1-x_2}{y_1-y_2})$$

图4-4 图像存在倾斜角

图像切割

• 对于一类图像：

• 对于二类图像

缺陷检查模型

检查思路

数据预处理

模型设计实现

模型训练与预测

效果展示