基于MySQL和OpenCV的二维码实时识别系统

最新推荐文章于 2024-07-15 19:44:21 发布

mango669

最新推荐文章于 2024-07-15 19:44:21 发布

阅读量158

点赞数

文章标签： mysql opencv 数据库

本文链接：https://blog.csdn.net/mango669/article/details/134291806

版权

1.研究背景与意义

项目参考AAAI Association for the Advancement of Artificial Intelligence

研究背景与意义

随着二维码技术的广泛应用，二维码的识别成为一个重要的研究领域。二维码是一种能够储存大量信息的图像编码方式，通过扫描二维码，用户可以快速获取相关信息，例如产品信息、网址链接等。然而，传统的二维码识别方法往往需要离线处理，无法实现实时识别，限制了二维码技术的应用范围。

为了解决这一问题，本研究提出了基于MySQL和OpenCV的二维码实时识别系统。MySQL是一种常用的关系型数据库管理系统，具有高效、稳定的特点，适用于存储和管理大量的数据。OpenCV是一个开源的计算机视觉库，提供了丰富的图像处理和计算机视觉算法，可以用于二维码的识别和解码。

本研究的主要目标是设计和实现一个高效、准确的二维码实时识别系统，以满足现实生活中对于快速获取信息的需求。具体来说，本研究的主要内容包括以下几个方面：

首先，本研究将研究和开发一种基于OpenCV的二维码识别算法。该算法将利用OpenCV提供的图像处理和计算机视觉算法，对输入的图像进行预处理、二值化、定位和解码等操作，以实现对二维码的准确识别。

其次，本研究将设计和实现一个基于MySQL的二维码信息管理系统。该系统将利用MySQL的数据库管理功能，存储和管理大量的二维码信息，包括二维码的内容、生成时间、使用次数等。同时，该系统还将提供查询和统计功能，方便用户对二维码信息进行管理和分析。

最后，本研究将实现一个基于MySQL和OpenCV的二维码实时识别系统。该系统将集成前述的二维码识别算法和信息管理系统，实现对实时视频流中的二维码进行识别和解码，并将识别结果与数据库中的信息进行匹配和查询，以实现对二维码信息的快速获取和管理。

本研究的意义主要体现在以下几个方面：

首先，基于MySQL和OpenCV的二维码实时识别系统将大大提高二维码的识别效率和准确性。传统的二维码识别方法往往需要离线处理，无法满足实时识别的需求。而本研究提出的系统将利用OpenCV提供的图像处理和计算机视觉算法，实现对实时视频流中的二维码进行快速、准确的识别，大大提高了二维码的识别效率和准确性。

其次，基于MySQL的二维码信息管理系统将方便用户对二维码信息进行管理和分析。传统的二维码信息管理方法往往需要手动记录和整理，效率低下且容易出错。而本研究提出的系统将利用MySQL的数据库管理功能，实现对二维码信息的存储、管理和查询，方便用户对二维码信息进行管理和分析。

最后，基于MySQL和OpenCV的二维码实时识别系统将有助于推动二维码技术的应用和发展。二维码技术具有广泛的应用前景，可以应用于商品追溯、物流管理、移动支付等领域。而本研究提出的系统将为二维码技术的应用提供了一种高效、准确的识别方法，有助于推动二维码技术的应用和发展。

综上所述，基于MySQL和OpenCV的二维码实时识别系统具有重要的研究意义和应用价值，将为二维码的识别和管理提供一种高效、准确的解决方案，有助于推动二维码技术的应用和发展。

2.图片演示

在这里插入图片描述

3.视频演示

基于MySQL和OpenCV的二维码实时识别系统_哔哩哔哩_bilibili

4.算法流程图

本算法功能主要为二维码识别以及信息内容读取。算法结构如图所示，首先二维码图片转化为二进制像素矩阵,然后利用鼠标监听事件选择感兴趣区域(Region of Interest, ROI),进一步聚焦待识别区域;最后采用线性变换方法突显图片细节,利用神经网络和OpenCV 实现二维码识别功能。信息内容读取通过对所获得的二维码信息取模后输出在液晶屏。
在这里插入图片描述

算法整体流程为:首先,设计摄像头调用函数获取原始图片，鼠标监听事件选取ROI和图片降噪,提升识别效率;其次,利用二维码识别器构建训练集和测试集，采用CNN 算法进行训练和学习;最后,采用OpenCV设计二维码识别算法。算法整体流程如图所示。为避免二维码内容为空，以识别内容长度作为判定值,当识别后没有信息时,显示二维码错误。

在这里插入图片描述

5.核心代码讲解

5.1 login.py



class Database:
    def __init__(self, host, user, passwd, db):
        self.conn = MySQLdb.connect(host=host, user=user, passwd=passwd, db=db)
        self.cur = self.conn.cursor()
    
    def create_database(self, name):
        self.cur.execute(f"CREATE DATABASE IF NOT EXISTS {name}")
        self.conn.select_db(name)
    
    def create_table6(self):
        self.cur.execute('''CREATE TABLE IF NOT EXISTS table6
                           (name VARCHAR(255), password VARCHAR(255))''')
    
    def create_table7(self):
        self.cur.execute('''CREATE TABLE IF NOT EXISTS table7
                           (id INT AUTO_INCREMENT PRIMARY KEY,
                            information VARCHAR(255),
                            time VARCHAR(255))''')
    
    def register(self, name, password):
        self.cur.execute("INSERT INTO table6 (name, password) VALUES (%s, %s)", (name, password))
        self.conn.commit()
    
    def login(self, name_input, pass_input):
        self.cur.execute("SELECT * FROM table6 WHERE name=%s AND password=%s", (name_input, pass_input))
        result = self.cur.fetchone()
        if result:
            print("pass")
        else:
            print("no pass")

该程序文件名为login.py，主要功能是连接MySQL数据库，实现用户的登录和注册，并创建名为message的数据库和两个表格table6和table7。其中table6包含name和password两列，table7包含id、information和time三列。程序还定义了register和login两个函数，register函数将name和password写入table6表格中，login函数用于验证输入的name和password是否与数据库中的一致。最后，程序进行了一个测试，调用login函数并输出结果。

5.2 preprocess_image.py


class QRCodeRecognitionSystem:
    def __init__(self):
        pass

    def preprocess_image(self, image_path):
        # 读取图像
        img = cv2.imread(image_path)

        # 转换为灰度图像
        img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        # 使用高斯模糊去除噪声
        img_blur = cv2.GaussianBlur(img_gray, (5, 5), 0)

        # 使用Canny边缘检测
        img_edges = cv2.Canny(img_blur, 50, 150)

        # 使用霍夫变换检测直线
        lines = cv2.HoughLinesP(img_edges, 1, np.pi / 180, 100, minLineLength=100, maxLineGap=10)

        # 从直线中找到水平和垂直线
        horizontal_lines = []
        vertical_lines = []

        for line in lines:
            x1, y1, x2, y2 = line[0]
            if abs(x1 - x2) > abs(y1 - y2):
                horizontal_lines.append((x1, y1, x2, y2))
            else:
                vertical_lines.append((x1, y1, x2, y2))

        # 计算图像的旋转角度
        angle = 0.0
        if len(horizontal_lines) > 0 and len(vertical_lines) > 0:
            horizontal_angles = [np.arctan2(y2 - y1, x2 - x1) for x1, y1, x2, y2 in horizontal_lines]
            vertical_angles = [np.arctan2(y2 - y1, x2 - x1) for x1, y1, x2, y2 in vertical_lines]
            angle = 0.5 * (np.median(horizontal_angles) + np.median(vertical_angles))

        # 旋转图像
        if angle != 0:
            center = (img.shape[1] // 2, img.shape[0] // 2)
            rotation_matrix = cv2.getRotationMatrix2D(center, angle * 180 / np.pi, 1.0)
            img = cv2.warpAffine(img, rotation_matrix, img.shape[1::-1], flags=cv2.INTER_LINEAR)

        # 局部二值化
        img_local_binary = cv2.adaptiveThreshold(img_gray, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 11, 2)

        return img_local_binary

    def recognize_qrcode(self, image_path):
        # 预处理图像
        preprocessed_image = self.preprocess_image(image_path)

        # 使用OpenCV的QRCode解码器
        detector = cv2.QRCodeDetector()
        decoded_info, points, _ = detector.detectAndDecodeMulti(preprocessed_image)

        if len(decoded_info) > 0:
            return decoded_info.tolist()

        return []

这个程序文件名为preprocess_image.py，它包含一个名为QRCodeRecognitionSystem的类。这个类有两个方法：preprocess_image和recognize_qrcode。

preprocess_image方法用于对图像进行预处理。它首先读取图像，然后将其转换为灰度图像。接下来，使用高斯模糊去除噪声，并使用Canny边缘检测找到图像的边缘。然后，使用霍夫变换检测直线，并从直线中找到水平和垂直线。最后，计算图像的旋转角度，并根据角度旋转图像。最后，使用局部二值化对图像进行处理，并返回处理后的图像。

recognize_qrcode方法用于识别图像中的QR码。它首先调用preprocess_image方法对图像进行预处理。然后，使用OpenCV的QRCode解码器对预处理后的图像进行解码，并返回解码后的信息。

这个程序文件可以用于对图像中的QR码进行识别和解码。

5.3 QRCodeRecognition.py


class QRCodeRecognitionSystem:
    def __init__(self):
        pass

    def preprocess_image(self, image_path):
        # 读取图像
        img = cv2.imread(image_path)

        # 转换为灰度图像
        img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        # 使用高斯模糊去除噪声
        img_blur = cv2.GaussianBlur(img_gray, (5, 5), 0)

        # 使用Canny边缘检测
        img_edges = cv2.Canny(img_blur, 50, 150)

        # 使用霍夫变换检测直线
        lines = cv2.HoughLinesP(img_edges, 1, np.pi / 180, 100, minLineLength=100, maxLineGap=10)

        # 从直线中找到水平和垂直线
        horizontal_lines = []
        vertical_lines = []

        for line in lines:
            x1, y1, x2, y2 = line[0]
            if abs(x1 - x2) > abs(y1 - y2):
                horizontal_lines.append((x1, y1, x2, y2))
            else:
                vertical_lines.append((x1, y1, x2, y2))

        # 计算图像的旋转角度
        angle = 0.0
        if len(horizontal_lines) > 0 and len(vertical_lines) > 0:
            horizontal_angles = [np.arctan2(y2 - y1, x2 - x1) for x1, y1, x2, y2 in horizontal_lines]
            vertical_angles = [np.arctan2(y2 - y1, x2 - x1) for x1, y1, x2, y2 in vertical_lines]
            angle = 0.5 * (np.median(horizontal_angles) + np.median(vertical_angles))

        # 旋转图像
        if angle != 0:
            center = (img.shape[1] // 2, img.shape[0] // 2)
            rotation_matrix = cv2.getRotationMatrix2D(center, angle * 180 / np.pi, 1.0)
            img = cv2.warpAffine(img, rotation_matrix, img.shape[1::-1], flags=cv2.INTER_LINEAR)

        return img

    def recognize_qrcode(self, image_path):
        # 预处理图像
        preprocessed_image = self.preprocess_image(image_path)

        # 使用OpenCV的QRCode解码器
        detector = cv2.QRCodeDetector()
        retval, decoded_info, points, straight_qrcode = detector.detectAndDecodeMulti(preprocessed_image)

        if retval:
            return decoded_info.tolist()

        return []

这个程序文件名为QRCodeRecognition.py，主要实现了一个二维码识别系统。程序包含以下几个函数：

preprocess_image(self, image_path)：预处理图像函数，接收一个图像路径作为参数。该函数首先读取图像，然后将图像转换为灰度图像，接着使用高斯模糊去除噪声，再使用Canny边缘检测，最后使用霍夫变换检测直线。通过直线的角度判断直线是水平还是垂直的，并将水平线和垂直线分别保存。最后计算图像的旋转角度，如果角度不为0，则对图像进行旋转。最后返回预处理后的图像。
recognize_qrcode(self, image_path)：二维码识别函数，接收一个图像路径作为参数。该函数首先调用preprocess_image函数对图像进行预处理。然后使用OpenCV的QRCode解码器对预处理后的图像进行解码，得到解码结果。如果解码成功，则将解码结果转换为列表并返回，否则返回一个空列表。

这个程序文件主要用于识别图像中的二维码，并返回解码结果。

5.4 System.py

class QRCodeRecognitionSystem:
    def __init__(self):
        self.scanner = zbar.ImageScanner()
        self.scanner.parse_config('enable')

    def preprocess_image(self, image_path):
        # 读取图像
        img = cv2.imread(image_path)

        # 灰度转化
        img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        # 高斯平滑滤波
        img_gaussian = cv2.GaussianBlur(img_gray, (3, 3), 0)

        # 中值滤波
        img_med = cv2.medianBlur(img_gaussian, 7)

        # 边缘检测
        grad_x = cv2.Sobel(img_med, cv2.CV_16S, 1, 0, ksize=3)
        grad_y = cv2.Sobel(img_med, cv2.CV_16S, 0, 1, ksize=3)
        abs_grad_x = cv2.convertScaleAbs(grad_x)
        abs_grad_y = cv2.convertScaleAbs(grad_y)
        img_out = cv2.addWeighted(abs_grad_x, 0.5, abs_grad_y, 0.5, 0)

        # 二值化
        _, img_binary = cv2.threshold(img_out, 125, 255, cv2.THRESH_BINARY)

        # 闭运算
        kernel = np.ones((3, 3), np.uint8)
        img_closed = cv2.morphologyEx(img_binary, cv2.MORPH_CLOSE, kernel)

        # 膨胀
        kernel = np.ones((3, 3), np.uint8)
        img_dilated = cv2.dilate(img_closed, kernel, iterations=2)

        return img_dilated

    def recognize_qrcode(self, image_path):
        # 预处理图像
        preprocessed_image = self.preprocess_image(image_path)

        # 创建Zbar图像对象
        image = zbar.Image(preprocessed_image.shape[1], preprocessed_image.shape[0], 'Y800', preprocessed_image.tobytes())

        # 扫描图像中的二维码
        self.scanner.scan(image)

        # 提取识别结果
        result = []
        for symbol in image:
            result.append({
                'type': symbol.type,
                'data': symbol.data.decode('utf-8')
            })

        return result

这个程序文件名为System.py，主要实现了一个二维码识别系统。程序中引入了cv2、numpy和zbar三个库。

在QRCodeRecognitionSystem类中，首先初始化了一个zbar的ImageScanner对象，并设置了解析配置。

preprocess_image方法用于对图像进行预处理。首先读取图像，然后将图像转化为灰度图像，接着进行高斯平滑滤波和中值滤波。然后进行边缘检测，使用Sobel算子计算梯度，再将梯度取绝对值并加权相加得到输出图像。接下来进行二值化处理，使用阈值将图像分为黑白两部分。然后进行闭运算和膨胀操作，最后返回处理后的图像。

recognize_qrcode方法用于识别二维码。首先调用preprocess_image方法对图像进行预处理，然后创建一个zbar的Image对象，将预处理后的图像传入。接着调用scanner的scan方法对图像中的二维码进行扫描。最后提取识别结果，将结果存入一个列表中并返回。每个识别结果包括二维码类型和数据。

5.5 ui.py

ui.py是一个用于图像识别和二维码识别的程序文件。该文件包含了多个类和函数，用于实现图像识别和二维码识别的功能。

程序首先导入了一些必要的库，如argparse、platform、shutil、time、numpy、cv2、PyQt5和MySQLdb等。

接下来定义了一个名为QRCodeDetector的类，用于二维码的检测和解码。该类包含了detect和detectAndDecode两个方法，分别用于检测二维码和解码二维码。

然后定义了一个名为recognize_qr_code的函数，用于识别二维码。该函数首先读取图像，然后进行灰度化、高斯模糊、Canny边缘检测、轮廓检测、透视变换、二值化等操作，最后调用QRCodeDetector类的detectAndDecode方法进行二维码的检测和解码。

接下来定义了一个名为det_yolov7v6的函数，用于目标检测。该函数首先根据输入的信息判断是图像还是视频，然后读取图像或视频，并调用目标检测模型进行识别，最后在图像或视频上绘制识别结果。

然后定义了一个名为det的函数，用于二维码的动态识别。该函数首先打开摄像头，然后循环读取摄像头的画面，进行二维码的扫描和识别，最后在画面上显示识别结果。

接下来定义了一个名为Thread_1的线程类，用于在后台运行目标检测函数。该线程类继承自QThread类，重写了run方法，在run方法中调用目标检测函数。

最后定义了一个名为Ui_MainWindow的类，用于创建图形界面。该类定义了一个名为setupUi的方法，用于设置界面的布局和样式。

在界面中，有一个标签用于显示识别结果的信息，以及一个标签用于显示识别结果的图像。界面的背景图片为carui.png。

6.系统整体结构

整体功能和构架概述：
该程序是一个基于MySQL和OpenCV的二维码实时识别系统。它包含了多个文件，每个文件负责不同的功能。其中login.py用于连接MySQL数据库并进行用户注册和登录的操作；preprocess_image.py用于对图像进行预处理，包括灰度化、边缘检测、直线检测等；QRCodeRecognition.py实现了二维码的识别和解码功能；System.py实现了二维码识别系统的核心功能，包括图像预处理和二维码识别；ui.py用于实现图形界面和与用户的交互。

下表整理了每个文件的功能：

文件名	功能
login.py	连接MySQL数据库，创建数据库和表格，实现用户注册和登录的功能
preprocess_image.py	对图像进行预处理，包括灰度化、边缘检测、直线检测等
QRCodeRecognition.py	实现二维码的识别和解码功能
System.py	实现二维码识别系统的核心功能，包括图像预处理和二维码识别
ui.py	实现图形界面和与用户的交互，包括二维码识别和目标检测的显示等

请注意，以上分析是部分代码，具体的功能和构架可能还需要根据实际代码。

7.二维码预处理

二维码预处理是二维码定位与识别的基础，其主要工作包括图像类型的转换、图像边缘检测、数学形态学处理等。（1）图像类型转换是将采集的彩色图像转换为灰度图像，可以使用 OpenCV 中的 cv2.cvtColor() 函数实现。当摄像头读入图像后,将读取的帧转为灰度图。函数形式如下:
cv2.cvtColor(src, code[, dst[, dstCn]])
有两个必选参数，src:原始图像，code:颜色空间转换方式。本示例中code 取值为cv2.COLOR_BGR2GRAY。值得一提的是,在OpenCV中,彩色空间使用的BGR,即蓝-绿-红颜色空间。
图像边缘检测可以使用OpenCV自带的cv2.Sobel()算子进行滤波。Sobel算子是常用的一种边缘检测算子,对边缘方向信息的提供比较精确，但由于不是完全精确的边缘定位,在对精度要求不是很高的情况下被经常采用。
Sobel算子是一个无方向的一阶微分边缘检测算子，Sobel算子的表达式如下:
在这里插入图片描述

其中D、D,分别表示水平方向算子和垂直方向算子。矩阵形式的模板表示如下:
在这里插入图片描述

在OpenCV中，Sobel算子的函数原型如下:
dst=cv2.Sobel(src,ddepth,dx,dy[,dst[,ksize[,scale[,delta[,borderType]]lll)
其中前四个参数是必须的，其余的可选。src:原始图像,ddepth:图像像素深度，dx,dy: x和y方向上是否求导。
数学形态学处理是对二值化后的图像做开运算。二值化使用OpencV中的cv2.threshold()函数实现，开运算主要作用是去毛刺、孤立点，同时基本保持原图形状信息不变，使用cv2.morphologyEx()函数实现。
在OpenCV中，cv2.threshold()的函数原型如下:cv2.threshold(src,thresh,maxval,type[,dst])
四个必选参数含义分别如下，src:原始图像，thresh:分割阈值，maxval:大于阈值的点设置为maxval的值，type:算法类型。本示例中type 取值为cv2.THRESH_BINARY。
开运算一种复合运算，它是对二值图像先做腐蚀后做膨胀,公式表示如下所示，其中О代表腐蚀运算，代表开运算,X为待处理的二值图像，B为结构元素:

在这里插入图片描述

8.二维码提取过程

本实验主要通过OpenCV中的函数实现二维码的提取。其实现步骤为:(1)灰度转化;(2)高斯平滑滤波;(3)中值滤波;(4)边缘检测;(5)二值化;(6)闭运算;(7)膨胀;(8)获取码的区域。
在这里插入图片描述

灰度转化

做图像处理时,灰度图是个二维矩阵形式,相对于RGB图的三个维度更容易处理,消除颜色干扰。cvtColor()函数是OpenCV里的颜色空间转换函数,可以实现RGB颜色向灰度的转换,代码如下:
cvtColor (img, imgGray, COLOR_RGB2GRAY);

高斯平滑滤波

高斯滤波是一种线性平滑滤波,可以消除高斯噪声。GaussianBlur()函数的作用是用高斯滤波器来模糊一张图片，代码如下:
GaussianBlur (imgGray, imgGaussian,Size(3,3),O);

中值滤波

中值滤波是一种非线性滤波方法,该方法在去除图像噪声的同时,又能很好地保留图像的边缘细节。因此该方法非常适用于二维码图像的正确识别过程。代码如下:
medianBlur (imgGaussian, imgMed,7);

边缘检测

边缘检测是图像处理和计算机视觉中的基本问题,常用来提取目标区域的轮廓。图像边缘检测可以大幅度减少图像处理的数据量,有助于消除与二维码识别不相关的背景图像信息,保留二维码区域图像信息。本文使用Sobel边缘检测算法,先分别求图像X、Y方向的梯度,再将两个方向的梯度结果进行叠加。代码如下:
//求X方向梯度
Sobel (imgMed, grad_x,CV_16S,1,0,3，1，1，BORDER_DE-FAULT);
convertScaleAbs (grad_x, abs_grad_x);/求Y方向梯度
Sobel (imgMed, grad_y, CV_16S,0，1，3，1，1,BORDER_DE-FAULT);
convertScaleAbs (grad_y, abs_grad_y);/梯度和
imgOut = abs_grad_x + abs_grad_y;3.5二值化
将获得的图像进行二值化处理,处理过后的图像只有黑自两种色值,使图像中数据量大为减少,从而能凹显出日你的牝廓,代码如下:
threshold (imgOut,imgOut，125，255，CV_THRESH_BINA-RY);

闭运算

先膨胀后腐蚀的过程称为闭运算。对图像进仃团运早处理,扩大二维码之间的间隙,并去除孤立的干扰点,代码如下:
morphologyEx (imgOut, imgOut, MORPH_CLOSE, element);3.7膨胀
再次进行膨胀,继续填充二维码间隔空隙,合并二维码区域。根据核的大小,需要2-3次膨胀操作,代码如下:
for (int i = 0; i < 3; i++)
dilate (imgOut, imgOut, element);

获得码的区域

先通过findContours()函数找到膨胀后的图1家一维I金以的矩形边界,再找出面积最大的轮廓开按此区要符原图w另山来,保存为相应的结果。
这样提取出来的二维码区域图像,存放到image少量",以便下一步的识别过程使用。其效果图如图3所示。结果显示，该实验步骤成功排除了图片中其他无关信息的干扰,准确无误地提取到了二维码的区域。
在这里插入图片描述