经验记录：利用传统机器视觉检测 IGBT 车间芯片的好坏

一、 前言

该项目是我进BYD以来的第二个义务性的项目，与前一个一样，技术难度都不高，但是看见自己写的代码能帮助到车间的同事，减少他们的工作量，我还是很自豪，正如以前看到的一句话：“代码也是有温度的”，与诸君共勉。

先上图看下待处理的图片样子，如下图：

台面后面可能要变，所以除了晶圆之外的东西先不要管。中间每块白色的小块就是我们检测的对象——芯片。个别芯片上面有黑点点，那是质检的同事做的标记，意为坏芯片。我们的任务就是识别出一块晶圆上的所有坏芯片的位置，并将坏芯片的位置信息写入相关的txt文件。

该demo经过两次优化，单帧图片运行时长的优化记录为 1.0+s -> 0.75s -> 0.33s。检测效果上也较1.0版提升许多。详细代码见：IGBT项目代码 。由于代码较多，正文中的代码只做简单展示，即只贴出对应操作的核心代码，具体还是下载我的源码来阅读调试。

二、 正文

由上图可看出，芯片很小，整张图片又很大，所以第一步我要将晶圆部分裁剪出来。这里我利用HSV颜色筛选来做，通过定位黄色区域，裁剪出晶圆部分的图片。
先给出查看图片HSV值的博客 ，用链接里的脚本查看黄色区域的HSV值范围。

（一）颜色初筛、截取出 ROI

# 很明显，没头没尾，只做展示
img = cv2.imread("../img/%d.jpg" % i)  # 读取图片路径   
    
img_hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

lower_color = np.array([20, 105, 100])  # 分别对应着HSV中的最小值
upper_color = np.array([36, 255, 255])  # 分别对应着HSV中的最大值

# 初次筛选颜色，意图是得到黄色晶圆的 ROI 区域
mask_1 = cv2.inRange(img_hsv, lower_color, upper_color)
x1, y1, x2, y2 = get_roi(mask_1)
img_hsv_roi = img_hsv[y1:y2, x1:x2]

最后的效果如下图:

注意，这一步只是初筛，可以看出芯片之间的黄色缝没有很好地检测出来，但是没关系，我们目的是裁剪晶圆的ROI，如果缝全被检测出来了，下面的ROI反而不好找，具体你们可以自己试试。

# 该函数是为了定位上图白色区域的边界，然后好裁剪 ROI
def get_roi(mask, img=None):
    _, contours, hierarchy = cv2.findContours(mask