基于深度学习的端到端的车牌检测与识别

论文题目：Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks

摘要：

对于自然场景下的车牌检测与识别任务，本文提出了一个统一的可以同时定位车牌与识别字符的端到端的网络框架。相比于分步进行车牌检测与识别的现有方法，单个网络的联合解决方案可以避免中间过程的错误累计，，并且加速了整体的处理速度。即省掉了中间的衔接处理环节。

现状简介： 

自动车牌检测与识别是智能交通系统的重要组成部分，其在安防与交通控制等领域具有潜在应用价值，近年来引起了大量研究者的注意。

现有算法表现优异多是在可控条件下或者具有复杂的图像采集系统，对于不可控自然环境下的车牌识别任务仍然具有挑战性。难度主要在于复杂的背景，如商店展牌，窗户，护栏，砖块以及随机的拍摄条件（光线，遮挡，变形，模糊等）。

其实，车牌检测与识别任务是具有强相关性的，即准确的边框检测有助于提高识别精度，同时准确的识别结果可以用来消除假正例。低级的特征可以用于检测与识别。提出的模型可进行端到端训练，无需额外的启发式规则(车牌颜色，字符空间)，避免了中间的字符聚类或字符分割过程。并且本文是集成检测与识别的首例网络框架，其网络架构如下图：

 相关研究工作：

车牌检测与识别通常是分别进行处理的，本文分别进行相关工作介绍。

车牌检测：

车牌检测旨在以边框的形式在图像中定位出车牌区域，现有的方法大概分为四类：基于边缘，基于颜色，基于纹理以及基于字符。

基于边缘：车牌通常是具有特定长宽比例的矩形结构，并且相比于图像的其他地方，具有更高的边缘密度，边缘信息广泛用来进行车牌检测。在论文[4]中，通过期望最大化进行边缘聚类来提取具有类似候选车牌形状的密集边缘集合用于车牌检测。论文[5]中，提出了一种新的线密度滤波方法来连接边缘密度高的区域，并从二值边缘图像中去除每行和每列中的稀疏区域。基于边缘的方法计算速度快，但不能应用于复杂的图像，因为它们对不需要的边缘太敏感。

基于颜色：车牌颜色通常不同于车身颜色。在论文[6]中，通过分析目标颜色的像素，使用一个颜色几何模板通过条带搜索定位伊朗车牌。论文[7]提出了一种基于不同前景和背景颜色来检测检测RGB图像中台湾车牌的方法。他们提出了一种对黑白、红白和绿白边缘敏感的彩色边缘检测器。基于颜色的方法可以用来检测倾斜或变形的车牌。然而，他们对自然场景图像中的各种光照条件比较敏感，并且无法区分图像中与车牌的颜色和尺寸具有相似特征的其他物体。

基于纹理：基于纹理的方法试图根据车牌区域中非常规的像素强度分布来检测车牌。Yu等人[8]提出首先使用小波变换得到图像的水平与垂直细节，然后使用经验模式分解( EMD )分析来处理投影数据，并定位表示车牌位置的期望波峰。Giannoukos等人[9]提出了一种同心窗口滑动( SCW )算法，根据图像中车牌纹理的局部不规则性来识别车牌。为了加快检测速度，提出了OCS。基于纹理的方法相比比边缘或颜色使用了更多的判别性特征，但同时导致更高了的计算的复杂度。

基于字符：由于车牌中存在一串字符，最近很多方法使用了包含特定信息的字符特征。周等人[ 2 ]将车牌检测定义为视觉匹配问题，通过为每个字符生成包含诸如方位、特征尺度和相对位置等几何线索的主视觉词( PVW )来进行车牌区域提取。李等人[10]在第一阶段应用最大稳定极值区域( MSER )提取图像中的候选字符，然后构造条件随机场( CRF )来表示车牌字符之间的关系。通过CRF上的信念传播推理，来最终定位车牌。基于字符的方法更可靠，并且可以具有更高的召回率。然而，其性能在很大程度上受到图像背景中其他文本的影响。

车牌识别：

先前的车牌识别工作通常先分割车牌上额字符，然后使用光学字符识别技巧来识别每个分割的字符。在论文[11]中，利用极值区域( ER )从粗略检测到的车牌中分割字符并细化车牌位置。限制性玻尔兹曼机器被用来识别字符。在论文[4]中，采用MSER来进行字符分割，提取局部二进制模式( LBP )特征，并使用线性判别分析( LDA )分类器进行字符识别。

然而字符分割本身就具有挑战性，极易受图像中不均匀光线，阴影，噪声等影响。其对车牌字符识别具有直接影响，如果分割不合理，识别算法再好，也无法正确识别。随着深度神经网络的发展，车牌的无字符分割的直接整体识别方法不断被提出。在论文[12]中，使用隐马尔可夫模型( HMMs )同时执行分割和光学字符识别，其中最可能的标签序列由Viterbi算法确定。在论文[13]中，车牌识别被认为是一个序列标记问题。即卷积神经网络( CNNs )以滑动窗口的方式用于从车牌边界框中提取一系列特征向量然后采用带CTC损失的RNN来标记序列数据，而无需字符分割。

未完待续............