Holistic Recognition of Low Quality License Plates by CNN using Track Annotated Data 翻译

通过CNN使用跟踪注释数据整体识别低质量车牌

摘要

本文专注于识别低分辨率和低质量的车牌图片。我们提出了一个收集现实世界（非合成）有标注的低质量车牌照片的数据集的方法。我们的车牌识别方法是基于一个从整体上处理整张图片的卷积神经网络，从而避免了车牌字符的切割。在多个数据集上的评估结果显示我们的方法明显优于其他低质量图片车牌识别的一些免费的和商业的解决方案。为了进一步研究低质量图片的车牌识别，我们将数据集公开发布。

1、介绍

自动车牌识别（ALPR）是现在的常见任务，它被许多智能交通系统应用于安全和交通控制。交通流量分析，自动车辆速度测量，违章停车执法只是车牌识别几个常用例子[1, 3, 5, 12, 13, 16, 18, 20]。现在已经有大量的应用于车牌识别的方法。大多数存在的算法（以及商业上的解决方案）都将字符分割作为其算法中的一个步骤。但是，适当的字符分割对车牌识别系统的识别率有着极其重大的影响。如果分割不合适，即使识别器本身是健壮的并且可以处理不同的字符字体，旋转角度和字符大小，车牌也可能被识别错误。影响字符分割过程，并且难以处理的其他问题包括图像模糊，光线不均匀，阴影和噪声。

图1 在数据收集过程中，检测并跟踪车牌。所有图像均以轨迹方式进行手动标记，因此即使某些图像中的文本无法正确识别，只要轨道至少包含一个可读图像，就可以分配地面实况。

 

本文重点介绍了一种以整体无分割方式进行车牌识别的替代方法。结果证实，即使在正确的字符分割几乎是不可能的艰难条件下（例如低质量图像，模糊图像，不均匀照明，图像噪声），这种方法也是适用的。为了正常进行本文的工作，我们收集了一个新的经过注释的数据集，并将其公开，可用于非商业用途。数据集中的图像通过整个车牌的运行轨迹（观察单个车辆序列）注释，因此即使对于自然模糊、部分遮挡和难以读取的车牌图像，它也能提供真实框的标签，这就使我们能够训练一个非常健壮的车牌识别器。一个这样的车牌踪迹例子可以从图1看到。

一个单向卷积神经网络（CNN）被用于整体车牌识别的方法。与[3,13]不同，我们的方法通过一个单向卷积神经网络处理字符定位和识别，而不需要像递归神经网络那样要正确的标记数据了。在我们的例子中，该模型仅在欧洲车牌上进行训练，并且在相同类型的车牌上进行评估。通过提供充足数量的训练数据，假定所提出的方法适用于不同类型的车牌（例如美国，中国等）是合适的。

2、相关工作

自动车牌识别问题也与车牌检测问题相吻合，这可以通过多种方式在软件中完成[1,5,10,13,16]，甚至可以通过硬件[19]和GPU [9]解决。 但是，解决图像中车牌检测问题并不是本文的工作，只是为了本章的完整性而提及。

这项工作的主要关注点是车牌识别和本节讨论的最新方法，其中最新方法可以分为两大类-基于切割的车牌识别和无切割的车牌识别，我么把这些分开讨论。

基于切割的车牌识别

以前关于车牌识别的研究通常基于光学字符识别（OCR）技术，他们通过分割车牌中的字符开始该过程。现有的算法可以分为两类：基于投影和连接组件（CC）的技术。这种类型的技术的缺点是它们对车牌旋转和变形的敏感性。

基于投影的技术使用来自（在大多数情况下是二值化的）图像中的像素的水平和垂直投影的直方图[8,14,15]。车牌（二值化处理过的）通过水平和垂直投影来确定顶部/底部边界，并沿着投影轴线分隔车牌的每个字符。

另一方面，基于组件的技术可以应对车牌的旋转和变形[1,2,5,20]。基于组件的技术根据4领域或8邻域连通性来标记二值化车牌的像素块。不幸的是，如果字符连在一起或破损，这种方法则无法正确分割字符。

用于车牌字符识别的现有算法要么基于模板匹配[16]，要么基于机器学习。 基于机器学习的方法更健壮，因为它使用更多的判别特征进行学习，如方向特征[18]或图像密度[5,20]。常用的机器学习技术包括支持向量机[18]，概率神经网络[1,5]或人工神经网络[20]。

无切割的车牌识别

另一组当下的识别车牌方法-它们是无切割的。Li和Shen [13]介绍了一种使用卷积神经网络（CNN）检测和识别车牌的新方法。他们利用CNN进行特征提取，采用长期存储的双向递归神经网络（BRNN）和连接性时态分类（CTC）[7]以实现时序数据标记，开发了第一个无分割车牌识别方法。他们在AOLP数据集[10]和Caltech Cars 1999上获得了最先进的结果。其他作者也使用了类似的基于CNN的方法[3,12]。但是，这些方法都集中在标准的高品质车牌图像上。在我们的研究中，我们专注于低质量的车牌图像（例如运动模糊，损坏）。

其他的基于OCR的系统