基于 TensorFlow 的车牌预处理及识别系统的设计与实现(毕业论文)

摘 要

        现今全球进入了智能化的时代，随着新能源车的推广和发展，全球的车辆数量不断增 加。车牌识别系统需要适应户外全天候的工作环境，同时还需要能够处理各种实际场景中 出现的车牌图像，例如模糊、污损、倾斜等。能正确识别车辆牌照，是对车辆正确管理的 重要前提。因此，车牌识别算法的研究具有重要意义。

        本次研究针对目前的车牌识别现状，基于机器深度学习的方法，对车牌进行预处理和 识别。基础编程语言为 Python，使用 TensorFlow 的 Keras 开源神经网络库作为深度学习的 基础，并使用了 CNN 卷积神经网络对训练集进行训练工作，对新能源车牌和普通车牌进 行识别。同时本系统的组成部分包含了车牌收集模块，车牌预处理模块，车牌矫正模块， 数据集训练模块，用户图形化交互界面模块，用户可以在训练模型过后调用图形化界面高 效检测训练集的准确性，同时，用户可以选择将自己的训练集部署在任意平台上，体现了 其优良的兼容性。 本系统为用户提供了一种轻量级训练车牌识别系统的方法，同时本系统还提供了一种 新的方法，目的是在多种自然条件下提高车牌定位和识别的准确率，在用户使用方面，提 供了一种简单的用户交互界面以实现初步的训练集应用。

关键词：车牌识别；TensorFlow；深度学习；机器视觉；CNN 卷积神经网络

1 绪 论

1.1 研究背景与意义

1.1.1 研究背景

随着新能源车辆的普及和车辆总数的不断增多，车牌识别技术的应用也越来越广泛。 车牌识别技术是一种基于计算机视觉技术和图像处理技术的智能交通技术，可以对车辆进 行自动识别和跟踪，从而实现智能交通管理[1]、车辆管理和安全监控等多种应用。 在过去的几十年中，随着计算机视觉和图像处理技术的发展，车牌识别技术已经取得 了很大的进展。早期的车牌识别系统通常使用人工设计的规则和模板来进行车牌识别，但 是这种方法需要人工进行大量的数据处理和识别，效率低下且容易出错。随着深度学习技 术的发展，基于深度学习的车牌识别系统可以自动学习特征，无需人工设计规则和模板， 从而实现更高的准确率和更快的处理速度。 当前，车牌识别技术已经被广泛应用于智能交通系统、车辆管理、违法监管等领域。 例如，城市交通管理部门可以利用车牌识别技术对城市中的车辆进行实时监控和管理，追 踪违法车辆，提高城市交通管理效率和安全性；车辆管理部门可以利用车牌识别技术对车 辆的身份进行识别和管理，提高车辆管理准确率和便捷性；车辆安防系统可以利用车牌识 别技术对进出口车辆进行自动识别和记录，提高安防监控的效果等。 未来，随着自动驾驶和辅助驾驶功能的不断发展，车牌识别技术对于各个汽车行业将 更加重要。如，基于车牌识别技术的自动驾驶系统可以通过识别车辆牌照实现智能跟车和 安全驾驶；智能停车系统可以通过车牌识别技术对车辆进行自动识别和导航，提高停车场 管理效率和用户体验等。 车牌识别技术的开题研究为实现交通信息的自动化采集、处理和管理提供了新的途径。 因此，新时代车牌识别技术的研究是非常必要的。

1.1.2 研究意义

车牌识别技术提高交通管理效率和安全性。在不断建设新的城际交通网络的时代背景 下，传统的人工车辆管理模式已经无法满足当今日益庞大的交通规模。车牌识别技术可以 自动识别车辆并提供准确的车辆信息，从而实现智能交通管理和安全监控。智能交通系统 [2]能实现城市的各项管理智能化，是道路、车辆和使用者三位一体。例如，交通管理部门 可以利用车牌识别技术对违法车辆进行追踪和处罚，提高城市交通管理的效率和安全性。 同时也促进智能交通技术的发展。通过车牌识别技术，智能交通系统可以实现车辆自 动识别、跟踪和管理，进而实现智能交通信息化和智能化。例如，基于车牌识别技术的自 2 动驾驶系统可以实现车辆自动跟车和安全驾驶，智能停车系统可以实现车辆自动识别和导 航，提高停车场管理效率和用户体验等。 在计算机视觉领域下同样起到了推动作用，推动了计算机视觉和深度学习技术的发展。 车牌识别技术需要处理大量的图像数据，并进行图像识别和分类等任务。基于深度学习的 车牌识别系统可以自动学习特征，并实现更高的准确率和更快的处理速度，同时也为其他 计算机视觉和深度学习领域的研究提供了重要的参考和借鉴。 随着智能交通系统的发展，车牌识别技术成为了智能交通系统中非常重要的一环。车 牌识别可以通过读取车牌上的数字、字母等信息，实现车辆的自动识别、管理、追踪等功 能。该技术在交通管理、道路安全、车辆管理等领域具有广泛的应用前景。本次毕业设计 旨在研究车牌识别技术，探索如何通过机器学习、深度学习等方法提高车牌识别的准确性 和稳定性，为智能交通系统的发展做出进一步的探索。

1.2 国内外研究现状

1.2.1 国外研究现状

国外的车牌识别研究在图像识别和车辆识别领域取得了几项突破。首先在 2021 年 Hamdi A[2]及其同事提出了双生成对抗算法，以提高图像的分辨率并将识别模糊图像的准确 率从 30％提高到 70％。然而，仍然存在识别模糊车牌的问题。其次在 2022 年，Pham T A[3] 等人开发了一种轻量级卷积神经网络，在复杂环境下成功实现了车牌数据识别，精确度高 达 92.5％。 此外，Ying[4]等人提出了一种新方法，结合了改进的伯恩森算法和高斯滤波，用于去 除图像中的噪声，并利用连通分量分析（CCA）检测车牌的候选框，避免光照不均对车牌 检测的影响。这些进展展示了图像识别和车辆识别领域的重要进展，具有提高交通安全和 安全性的潜在影响。

1.2.2 国内研究现状

2020 年,王兵书等人在提出了一种自动车牌识别(ALPR)系统用于识别车牌字符。该系 统运用全卷积神经网络对图像进行处理，以便检测出车牌的位置。然后，通过级联分类器， 可以进一步定位车牌上的关键字符。最后，通过自动编码器，可以识别这些字符。该研究 使用澳门停车场的固定摄像头收集数据，并实现了 99.28%的车牌识别精度。尽管该系统在 处理自然交通场景中的图像时表现良好，但环境噪声仍可能对其产生干扰[5]。 2021 年，刘庆华等人提出了一种基于 MSER（Maximally Stable External Regions）区域 特征算法，用于识别模糊的车牌。尽管该算法在监控场景下可以探测到模糊的车牌，但它 并未充分考虑光照和距离等影响因素，这导致在自然交通场景中的应用变得困难。 同样在 2021 年，通过利用车牌的颜色和边缘特征，杨人豪及其团队成功地实现了对车 3 牌位置的准确检测、位置矫正和字符识别，取得了 97%的高精度识别率。但是这种方法需 要使用车牌矫正方式进行辅助，并且这增加了原有车牌处理的计算量[6]。此外，该方法的 实验数据较少，难以充分验证其有效性。

1.3 开发环境介绍

该项目车牌识别系统开发环境使用 Python 语言和 TensorFlow 深度学习平台，辅助工 具使用 LabelMe 进行数据标注和预处理。Python 拥有强大的机器学习和科学计算生态系统， TensorFlow 提供了良好的灵活性和扩展性，LabelMe 提供了快速有效的图像标注功能。我 使用 Anaconda 等 Python 集成环境管理依赖库，使用 TensorFlow.Keras 框架搭建 CNN 深度 卷积神经网络模型，同时-使用 LabelMe 进行数据标注和预处理，最终开发出高效、准确的 车牌识别系统。

1.3.1 Python 概述

Python 一种面向对象的，当今最流行的编程语言之一，由 Guido van Rossum 在 1989 年开发。Python 的语法简洁明了，易于学习，同时也是一种功能强大的语言，可以用于各 种应用程序的开发，包括 Web 应用、游戏、科学计算、数据分析、人工智能等领域。Python 拥有广泛的第三方库和工具，支持多种编程模式，包括面向过程、对象、函数式编程等。 Python 还有一个庞大的支持社区，提供丰富的教程、文档和支持，使得 Python 成为了广大 程序员和开发者的首选语言之一。

1.3.2 TensorFlow.Keras 概述

Keras 是 TensorFlow 框架中的高级神经网络 API，为开发人员提供了易用、高度模块 化、可扩展、可移植的深度学习开发框架。Keras 支持多种神经网络层类型和激活函数，以 及优化器和损失函数等模型训练和优化工具。同时，Keras 支持多种计算平台，包括 CPU、 GPU 和 TPU 等，可以实现高效的计算。Keras 还具有高度可扩展性，可以方便地添加自定 义的神经网络层或其他组件。Keras 可以与 TensorFlow 的其他功能进行无缝集成，比如 TensorFlow 的数据读取和数据增强工具，以及 Tensor Board 等可视化工具，支持深度学习 应用的开发和调试。因此，Keras 是一个功能强大、易于使用的深度学习开发框架，有助于 开发人员快速构建和调试深度学习模型，提高开发效率。

1.3.3 LabelMe 概述

LabelMe 是一款常用的图像标注工具，支持对图片中的物体进行边界框和多边形标注， 并能导出标注结果为常用格式如 XML 和 JSON。该工具基于 Python 编写，使用简单，可 在 Windows、MacOS 和 Linux 系统上运行。LabelMe 还支持多用户同时协同标注同一组数 4 据，方便分工协作。此外，LabelMe 还支持自定义标注模板、标注时的自动化辅助功能， 以及多种预处理工具，如图像缩放、图像旋转、图像切割等。这些功能使得 LabelMe 成为 了机器学习和计算机视觉领域的重要工具之一，广泛应用于数据集的构建和模型训练。

1.3.4 机器视觉（OpenCV）概述

OpenCV（Open Source Computer Vision）是一个跨平台的开源计算机视觉库，可以用 于实时图像处理、计算机视觉和机器学习等领域。它由一些基本的图像处理算法和计算机 视觉算法组成，并兼容多平台和多种编程语言。 OpenCV 的主要功能包括图像处理、计算机视觉、特征检测、目标识别、运动分析、 机器学习等。它提供了一系列的函数和工具，可以用于处理数字图像和视频流，并且可以 应用于多种应用场景，例如人脸识别、人体姿态检测、自动驾驶、车牌识别、医学图像处 理等领域。 OpenCV 的特点包括速度快、功能强大、易于使用、可移植性好等。它还拥有庞大的 用户社区和丰富的文档资源，为开发者提供了良好的支持和帮助。 对于 OpenCV 的边缘检测，有两阶多种微分算子可以使用，常用的一阶微分算子有 Sobel[7]、Roberts[8]和 Prewitt[9]等，的二阶微分算子有 Laplace[10]和 Kirsh 等。此外，LoG 算子[11]和 Canny 算子[12]首先对图片进行平滑处理后再进行卷积运算，这样可以有效减少 噪声的对训练集的影响。

1.3.5 CNN 卷积神经网络概述

卷积神经网络 CNN（Convolutional Neural Network）于 1989 年被 LeCun[13]提出，卷 积神经网络是一种在图像和视频识别领域中非常成功的深度学习模型。它的核心是卷积操 作，通过在图像上滑动卷积核（filter）提取图像特征，从而实现图像的分类、识别、分割 等任务。CNN 包含多个卷积层、池化层和全连接层，其中卷积层和池化层用于特征提取， 全连接层用于分类。 CNN 具有以下几个特点： 1）权重共享：卷积核在图像上滑动时使用的权重是相同的，从而减少了网络中需要学 习的参数数量； 2）局部感受：卷积核只关注图像中局部的像素，从而能够有效地捕捉局部特征； 3）空间不变性：卷积层和池化层能够保留特征的空间位置信息，使得网络对图像的旋 转、平移、缩放等变换具有一定的保留性。 4）常用的激活函数包括 Sigmoid 函数[14]、tanh 函数、ReLU 函数[15]、Leaky Relu 函 数和 Swish 函数[16]。 CNN 在运动检测、物体识别、物品分类、人脸识别等任务中取得了广泛的应用和良好 的效果，是计算机视觉领域中不可或缺的工具。下面如图 1-1 所示是 CNN 神经网络的结构 5 示意图。

图 1-1 CNN 的网络结构图

1.4 开发工具介绍

使用好的开发工具可以让项目事半功倍，本项目选择 Python 作为基本的编程语言，所 以我选择了以下两种工具。

1.4.1 Anaconda

Anaconda 是一个基于 Python 的数据科学平台，集成了多个数据分析和机器学习相关 的库和工具，如 NumPy、Pandas、Matplotlib、Scikit-Learn 等。Anaconda 的优点是方便地 安装和管理这些库和工具，同时也提供了 Jupyter Notebook 等交互式编程环境，支持数据 可视化、实验记录、模型训练等多种功能。此外，Anaconda 还可以创建虚拟环境，便于管 理不同版本的 Python 和不同的库依赖关系。

1.4.2 PyCharm

PyCharm 是一个专业的 Python IDE，提供了强大的代码编辑、调试、测试和代码重构 功能，支持多种 Python 版本和多种开发框架，如 Django、Flask 等。PyCharm 还支持代码 自动补全、语法检查、版本控制等功能，可以提高 Python 开发的效率和代码质量。此外， PyCharm 还可以集成多种 Python 工具，如 Pylint、Vagrant、Docker 等，方便开发人员进行 多种任务，如代码静态分析、虚拟化环境搭建等

2 系统分析与总体设计

本章节将从系统分析与总体设计进行阐述，并将各个模块汇集成模块功能分析图，详细的系统分析和总体设计如下文所示。

2.1系统分析

系统分析首先进行整体的需求说明，然后从功能性系统分析和非功能性系统分析进行分析，接下来为分章节进行介绍。

2.1.1 系统需求说明

本车牌识别系统目标是达成在大数据的支持下可以快速进行模型训练，并且根据用户的需要完成不同种类和样式的车牌训练集的快速训练工作。相比于现在已有的车牌训练系统，本系统可以在用户当前需求下快速的完成模型的训练和调用工作，突出其便捷和快捷性。训练好的模型可以方便的部署在不同的平台上进行工作，并且可以准确的完成用户目标要求。对于单独的训练集，用户可以对其进行自定义调用和拓展，以便完成用户的需求。

2.1.2 功能性系统分析

根据对车牌识别系统的需要进行了以下的功能性系统分析，该项目首先需要完成以下的功能需求：

1.数据集收集：为了支撑CNN卷积神经网络的训练，需要收集大量的车牌图片，涵盖不同类型、角度和尺寸的车牌图像。

2.图片预处理：为了确保系统能够正确地定位车牌位置，需要手动进行车牌位置的标注，并编写相应的算法进行车牌图像的矫正处理，以提高车牌识别的准确率。

3.训练集训练：完成对处理好图片的汇总和训练工作，使用TensorFlow作为训练平台对训练集进行训练，并及时反馈训练数量和成功率。

4.用户交互界面：需要提供对应的用户交互界面方便用户对数据集进行调用检查工作，即时反馈训练集识别成功率。

2.1.3 非功能性系统分析

对于一个出色的车牌识别系统在成功运行的条件下需要满足以下几点非功能性需求，以便本系统可以有更好的利用价值。

1.可移植性：车牌识别系统需要应用到不同的设备上，不同的设备可能采用不同的系统以及架构，拥有出色的可移植性对于本系统来说是必不可少的。

2.可拓展性：对于用户而言，可以在其他系统上调用本系统的模块来完成其他的功能目标，根据用户自身的需求进行扩展和定制。

3.易用性：对于普通用户而言，精简的用户操作界面方便用户了解所拥有的各项功能，同时可以帮助他们轻松完成车牌识别工作，对普通用户没有使用门槛，扩宽了用户的使用群体。

4.可靠性：在开发过程中确保本系统可以在绝大多数情况下，以及在多种平台上稳定快速的完成识别工作，系统可以在无人监管的情况下进行不间断工作。即使出现了致命错误导致系统死机，也可以快速进行重启工作。在训练部分使用模块化设计，方便进行再训练和检测工作。

2.2 总体设计

2.2.1 系统模块设计

车牌预处理及识别系统的系统模块设计如下：

1. 数据集车牌收集模块