基于3D卷积的图像序列特征提取与自注意力的车牌识别方法

【摘  要】近年来，基于自注意力机制的神经网络在计算机视觉任务中得到广泛的应用。随着智能交通系统的广泛应用，面对复杂多变的交通场景，车牌识别任务的难度不断提高，准确识别的需求更加迫切。因此提出一个基于自注意力的免矫正的车牌识别方法T-LPR。首先对图像进行切片和序列化，并使用3D卷积对切片序列进行特征提取，从而得到图像的嵌入向量序列。然后将嵌入向量序列输入基于Transformer Encoder的编码器中，学习各个嵌入向量之间的关系并输出最终的编码结果。最后使用分类器进行分类。在多个公共数据集上的实验结果表明，所提方法对各类困难场景下的车牌识别都非常有效。

【关键词】车牌识别 ; 图像嵌入向量 ; 自注意力 ; 免矫正

1.引言

随着城市智能管理的进一步发展，智能交通系统变得越来越重要。车牌识别作为智能交通系统中的关键一环，识别效果的好坏将会在很大程度上影响整个系统的运行。根据以往的经验，车牌识别系统的应用场景较为受限，对识别的图像要求高，如特定的拍摄角度、拍摄距离、环境光等。随着车牌识别需求的进一步提升，在非受限的场景下进行无感的车牌识别变得愈加重要，即对识别算法提出了更高的要求，需要对任意的车牌图像进行准确的识别。

在非受限的开放场景下获取的车牌图像存在许多问题，主要体现在曝光条件不一致，如夜间、白天、逆光拍摄等；天气环境不一致，如下雨导致的模糊、下雪导致的部分遮挡；拍摄角度不一致导致的倾斜、旋转等，以及其他问题导致的车牌污损、扭曲变形、模糊等。图1展示了部分典型的困难车牌样本。在过去的很长一段时间里，车牌识别由传统的图像处理技术完成，而在卷积神经网络成为视觉任务的主流方法之后，许多车牌识别方法开始基于卷积神经网