计算机竞赛 python 机器视觉 车牌识别 - opencv 深度学习 机器学习

1 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 基于python 机器视觉 的车牌识别系统

🥇学长这里给一个题目综合评分(每项满分5分)

• 难度系数：3分
• 工作量：3分
• 创新点：3分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题背景

车牌识别其实是个经典的机器视觉任务了，通过图像处理技术检测、定位、识别车牌上的字符，实现计算机对车牌的智能管理功能。如今在小区停车场、高速公路出入口、监控场所、自动收费站等地都有车牌识别系统的存在，车牌识别的研究也已逐步成熟。尽管该技术随处可见了，但其实在精度和识别速度上还需要进一步提升，自己动手实现一个车牌识别系统有利于学习和理解图像处理的先进技术。

本文详细介绍基于深度学习的中文车牌识别与管理系统，在介绍算法原理的同时，给出Python的实现代码以及PyQt的简单UI界面。在界面中可以选择需要识别的车牌视频、图片文件等。

2 效果演示

首先还是用动图先展示一下效果，系统主要实现的功能是对图片、视频中的车牌进行检测和识别，演示效果如下。

2.1 图片检测识别

2.2视频检测识别

3 车牌检测与识别

目前，智能交通系统中集成运用计算机视觉、物联网、人工智能等多种技术成为未来发展方向。其中，车牌识别（License Plate Recognition,
LPR）技术作为一项重要技术，从获取的图像中提取目标车辆的车牌信息，成为完善智能交通管理运行的基础。

由于本文介绍的是中文车牌，所以可以简单了解一下国内汽车拍照的特点：字符数为七个，包括汉字、字母和数字。车牌颜色组合中，其中最常见的组合为普通小型汽车蓝底白字和新能源汽车的渐变绿底黑字。

总结来说，车牌是一个有特点的图像区域，几种特征可以综合起来确定车牌定位，所以之前就有利用车牌与周围环境的差异的算法。目前常见的车牌定位算法有以下 4
种：基于颜色、纹理、边缘信息的车牌定位算法和基于人工神经网络的车牌定位算法。

如下图所示，常规的步骤包括图像采集、预处理、车牌定位、字符分割、字符识别、输出结果。深度学习技术成熟之后，端到端的网络模型使得这一过程变得简单起来。从思想上来说，基于深度学习的车牌识别实现思路主要包括两个部分：（1）车牌检测定位；（2）车牌字符识别。

其中，车牌的检测定位本质是一个特定的目标检测任务，即通过算法框选出属于车牌的位置坐标，以便将其与背景区分开来。可以认为检测出的车牌位置才是我们的感兴趣区域。好用的方法如Cascade
LBP，它是一种机器学习的方法，可以利用OpenCV训练级联分类器，依赖CPU进行计算，级联分类器的方法对于常用场景效果比较好，检测速度较快，曾经一度比较流行，但准确率一般。基于深度学习的检测算法有Mobilene-
SSD、YOLO-v5等，利用大批量的标注数据进行训练.

当ROI被检测出来，如何对这一区域中的字符进行识别，这就涉及到采取的处理方式。第一种处理方式，首先利用一系列字符分割的算法将车牌中的字符逐个分开，然后基于深度学习进行字符分类，得到识别结果；第二种，区别于第一种先分割再分类的两步走方式，利用端到端的CTC（
Connectionist Temporal Classification）网络直接进行识别。

这里我们使用网上开源的HyperLPR中文车牌识别框架，首先导入OpenCV和hyperlpr，读取一张车牌图片调用架构中的车牌识别方法获得结果，以下代码来自官方的示例：

​

    #导入包
    from hyperlpr import *
    #导入OpenCV库
    import cv2
    #读入图片
    image = cv2.imread("demo.jpg")
    #识别结果
    print(HyperLPR_plate_recognition(image))

​

以上代码运行结果如下，可以看出该方法识别了车牌的车牌字符、置信度值、车牌位置坐标、图片尺寸等结果。

这样的结果还不够直观，我们写一个函数将车牌的识别结果标注在图片上，首先导入相关依赖包，其代码如下：

​

    # 导入包
    from hyperlpr import *
    # 导入OpenCV库
    import cv2 as cv
    from PIL import Image, ImageDraw, ImageFont
    import numpy as np

​

新建一个函数drawRectBox，将图像数据、识别结果、字体等参数传入，函数内部利用OpenCV和PIL库添加标注框和识别结果的字符，其代码如下：

​

    def drawRectBox(image, rect, addText, fontC):
        cv.rectangle(image, (int(round(rect[0])), int(round(rect[1]))),
                     (int(round(rect[2]) + 8)