工业缺陷检测项目实战(一)——基于opencv的工件缺陷检测C++和python实现

基于opencv的工件缺陷检测C++和python实现

作为研究生，每一个项目都很重要，这里给大家分享一个好入门项目，代码纯自己写，网上都是python的，但是有些企业要求C++编写项目，所以希望大家能学到东西。
一. 问题陈述
工件的展示，这是一个视频，然后工件一个个经过，要检测出哪个工件有缺陷，并且分类缺陷的种类。可以看到缺陷是不止一种。


二. 代码步骤
1.读取图像，转为灰度图并二值化

cvtColor(img, gray, COLOR_BGR2GRAY);
threshold(gray, thresh, 127, 255, THRESH_TOZERO_INV);、

2.寻找轮廓

std::vector<Vec4i> hireachy;
std::vector<std::vector<Point>> contours;
findContours(thresh, contours, hireachy, RETR_LIST, CHAIN_APPROX_NONE);

3.遍历轮廓，对工件圈进行统计，防止重复标记
原理是计算图像矩，可以确定图像的灰度中心，根据每个时刻每个工件的中心位置的变换，可以判断画面里是否出现新的工件。同时，也要记得更新每个时刻每个工件的位置。具体代码实现可以参考完整工程文件。这里贴出部分：

for (size_t cnt = 0; cnt < contours.size(); cnt++)
        {
            double area = contourArea(contours[cnt]); //求轮廓面积(大约的)
            if (area > 18000 & area < 28000)          //把工件圈出来
            {
                mu[cnt] = moments(contours[cnt], false); //计算图像矩，表示工件的位置
                //计算图像质心位置
                double cx = mu[cnt].m10 / mu[cnt].m00;
                double cy = mu[cnt].m01 / mu[cnt].m00;
                boundRect[cnt] = boundingRect(Mat(contours[cnt])); //计算外接矩形

                new_object = true;
                //通过质心位置判断视频出现的工件是否是最新的
                if (cx > 100) //工件要全部出现
                {
                    if (products.size() > 0) //判断出现的工件是不是新的
                    {
                        for (size_t i = 0; i < products.size(); i++)
                        {
                            //存在一个
                            if (fabs(cx - products[i].getX()) <= 35 && fabs(cy - products[i].getY()) <= 35)
                            {
                                new_object = false;
                                //更新位置参数
                                products[i].updateCoords(cx, cy, boundRect[cnt].x, boundRect[cnt].y, boundRect[cnt].width, boundRect[cnt].height);
                            }
                        }
                    }
                    if (new_object == true)
                    {
                        Product p(pid, cx, cy, boundRect[cnt].x, boundRect[cnt].y, boundRect[cnt].width, boundRect[cnt].height);
                        p.save_pic(img);
                        products.emplace_back(p);
                        p.count = pid;
                        defects = p.defect_detect(); //缺陷检测
                        pid += 1;
                    }
                }
                //圈出来
                rectangle(img, boundRect[cnt].tl(), boundRect[cnt].br(), Scalar(0, 0, 255), 2, 8, 0);
            }
        }

效果是这样：

4.遍历轮廓，把工件圈出来，顺便保存调试，如下图。圈出来的原理也不难，其实就是通过函数

boundRect[cnt] = boundingRect(Mat(contours[cnt])); 

计算外接矩形，就可以获得矩形的左上角和右下角坐标，就可以画了。效果如下：

5.对每个框进行缺陷提取，原理依然是轮廓检测加面积判断。效果如下：


6.缺陷类型判断，这里利用直方图统计。即统计0-255中每个像素的个数，根据个数，转为百分比，接着我们设定一个阈值，就可以判断出缺陷类型。部分代码：

          //------------------------直方图计算
            Mat hist;
            //设定像素取值范围
            int histSize = 256;
            float range[] = {0, 256};
            const float *histRanges = {range};
            // hist索引为像素，值为像素点的个数
            calcHist(&resul, 1, 0, Mat(), hist, 1, &histSize, &histRanges, true, false);
            //-------------------------判断缺陷
            float sum = 0;
            for (int i = 0; i < 256; i++)
            {
                float bin_val = hist.at<float>(i); //遍历hist元素（注意hist中是float类型）
                sum = sum + bin_val;               //计算总的个数
            }
            // std::cout << "sum:"
            //           << sum << "\n";
            //计算各个像素点的个数百分比
            for (int i = 0; i < 256; i++)
            {
                if (hist.at<float>(i) > 0) //像素点个数大于0的时候
                {
                    hist.at<float>(i) = hist.at<float>(i) / sum;
                }
                // std::cout << "hist:"
                //           << hist.at<float>(i) << "\n";
            }
            float hist_sum_scratch = 0;
            float hist_sum_blot = 0;
            for (int i = 90; i < 135; i++) //比较灰的
            {
                hist_sum_scratch = hist_sum_scratch + hist.at<float>(i);
            }
            std::cout << "hist_sum_scratch:"
                      << hist_sum_scratch << "\n";
            for (int i = 15; i < 90; i++) //比较黑的
            {
                hist_sum_blot = hist_sum_blot + hist.at<float>(i);
            }
            std::cout << "hist_sum_blot:"
                      << hist_sum_blot << "\n";
            if (hist_sum_scratch >= hist_sum_blot)
            {
                Defect d(1, boundRect[cnt].x, boundRect[cnt].y, boundRect[cnt].width, boundRect[cnt].height);
                Result.emplace_back(d);
                state = 1;
                std::cout << "此处缺陷划痕"
                          << "\n";
            }
            if (hist_sum_scratch < hist_sum_blot)
            {
                Defect d(2, boundRect[cnt].x, boundRect[cnt].y, boundRect[cnt].width, boundRect[cnt].height);
                Result.emplace_back(d);
                state = 2;
                std::cout << "此处缺陷污渍"
                          << "\n";
            }

到此就可以完成啦!!!
三. 最终效果：

可以看到，会在终端打印相关消息

C++代码纯自己写，有多文件，花了一些时间总结，大家可以私信我拿代码
另外，也准备了python代码，需要的也可以私信我。

因为花费不少时间，所以希望大家给点报酬支持一下，继续加油进入下一个实战项目分享。

------------------------------------补充内容---------------------------------

一.ubuntu下使用
由于很多小伙伴下载代码之后不知道怎么使用这代码，今天就补充一下。首先，我们需要安装opencv与dlib，参考下我的另外一篇文章：
ubuntu20+dlib19.22+0pencv4.5.0的机器视觉算法之路(一).
1.删除buiild文件夹里面的所有文件
2.路径打开到build, 执行

cmake ..

3.接着

make

4.执行

./result  文件路径

二.win下使用
分享的C++代码是在ubuntu的cmake跑的，可能有人是在win的vs跑。以下是使用步骤：
1.安装opencv，版本4.几就行，比如4.5这样子，自己百度安装，无论是在win的Visual Studio，还是ubuntu的cmake，需要自己安装好opencv，并测试官方例子通过。

2.win的Visual Studio，则自己先创建C++工程，在工程里面先测试opencv没问题，然后把.cpp和.h文件复制到工程。注意，代码的格式百分之百没问题，如果报错，比如说分号有问题等，就是源文件的编码问题，可以把每个文件的代码全选复制粘贴到百度翻译，再复制粘贴回来，这样在win的环境下，文件的编码就没有问题，之前给别人跑过亲测有效。

3.改视频文件的路径：如果文件编码没问题，不会瞎报错了，但是报错找不到mp4文件，或者是没有输入参数，则需要手动改输入的mp4文件路径，比如：

红框内容改为

然后用Visual Studio创建的工程运行main.py就行。

搞定，完结，欢迎大家来学习，当作自己的一个项目，或者可以进一步去扩展成其他东西，懂的都懂。