车牌识别资料整理

原文地址：https://www.zhihu.com/question/355669768/answer/893855833
如果是做国内的车牌识别，github上有一个CCPD。这是中科大开源的一个数据集，标注比较详细不过不是按字符分割的方式做的标注（这个数据集的目标是做端到端训练，因为识别模型我考虑的就是做端到端的，所以这不是问题），优点是数据集规模很大，缺点是只有蓝牌并且主要是当地的牌照（皖A）。detectRecog/CCPD​github.com因为这个数据集存在车牌种类过少地区过于集中的问题，所以我做了一个工具生成车牌图像用于训练，目前可以生成蓝牌、单排黄牌（大型车前车牌、教练车车牌）、两种绿牌、黑牌（港澳入境车牌）。ufownl/fake_chs_lp​github.com二、接下来是模型实现我用的方法是分两步实现，首先从输入图片中抓出车牌图像（这里面涉及目标检测和车牌图像矫正），然后将输出的车牌图像丢入OCR模型中做识别（github上大多是通过分割字符的方法，我考虑的使用端到端的方式实现）。先说第一步如何抓出车牌图像，我是用的下面这篇论文提出的方法。可能因为原论文使用的数据集规模比较小，他们的模型规模比较小。因为CCPD的规模远大于论文中用到的数据集，所以我直接把主干网络替换成了ResNet18。License Plate Detection and Recognition in Unconstrained Scenarios​sergiomsilva.com然后是OCR模块，跟大多数车牌识别方法使用分割字符再识别不同，我考虑的是使用CNN+序列模型的方式做img2seq模型，最终用的方案是ResNet18+Transformer。模型是霸占了公司一台970和一台1060的机器来跑的，初步测试下来准确率还行，就是模型规模比较大CPU上的速度比较慢。然后又尝试了削减卷积层中filter的数量，牺牲了一些低质量图像的准确率，不过运算速度大大加快了。下面是做的一个在线DEMO，加入了一个预训练的YOLOv3模型来做车辆检测，可上传带车辆的场景图片进行测试。