基于openCV的车牌识别（模板匹配）python版

利用提供的模板进行车牌识别：
模板：
测试数据：

整体思路分为3个步骤：①将图像中车牌位置截取出来；②将车牌安照字符进行分割；③对分割好的字符图像进行模板匹配。实验基于jupyter进行，具体代码见附件。
第一步：截取车牌图像
一开始使用颜色特征进行，因为前几个图片整体构图都比较简单，颜色较为单一，特别是前两个，车牌部分较亮，其余部分较暗，不管使用颜色直方图或者直接二值化处理都可以提取出车牌部分。但是对于“4.jpg”，以及附加题中的绿牌车，这种方法提取效果欠佳，因此考虑使用sobel算子进行轮廓检测。
具体步骤如下：
先对图像进行高斯去噪，而后转为灰度图，因为车牌号码在y方向轮廓更为明显，所以对y方向进行轮廓检测：

用自适应阈值对图像进行二值化处理：

用因为所给图像都较小，所以连续使用两次中值滤波对图像进行平滑处理：

然后进行闭运算，使图像连为一块：

获取轮廓最小包围矩形：

然后用该矩形框坐标对原图进行裁剪，得到车牌图片：

图中可以看到裁剪得到的图片四周存在噪点，所以需要对车牌进行进一步的处理。思路为，将得到的图片二值化：

先对上下边框进行处理计算每一行的黑色像素的个数，并显示成直方图：

显然，靠近边缘部分存在波谷，但没有值为0的地方，这是因为左边还有黑色像素干扰。另外，有时候还存在着上下接边的情况。但是因为车牌的字符部分，即中间部分（扣除边框以外的地方）必然是存在着连续的大量的黑色像素，所以对车牌垂直方向进行划分，由中间向两边遍历，并设定一个阈值，当低于这个阈值的时候，判定已经超出车牌字符部分。经多次尝试，阈值选取为平均像素的四分之一能够得到较好的判定结果。而后利用获取的两个波谷坐标对车牌进行切割：
同样，按列计算黑色像素个数，得到直方图：

显然，每个黑色像素点为0的区域，都是字符间隙，这可以作为后续字符分割的依据。但当前木匾为切除左右多余部分，因此采取办法是由两边向中间遍历，如果出现第一个0的值，那么查看该点左侧（如果是右边开始遍历的话就是查看其右侧）黑色像素的宽度是否大于某个阈值，如果没有大于该阈值，则判定其属于空白部分或者边框部分，原理是前期处理出来的图像边框通常都很细，该阈值经实验后设定为4，能够得到较好结果。而后用获取到的两端的波谷坐标对图像进行左右边框切除：

查看在原图中的裁剪效果：

检查该方法对其他9张图片的提取效果：

验证该算法均能有效提取出车牌字符部分。
对补充题进行实验，得到效果如下：

可见，采用此种办法，对车牌相对图片较小的目标、存在光线干扰的目标都有较好的提取效果，但是对于倾斜的目标，由于采取办法是轮廓最小矩形提取，所以无法有较好效果，因此考虑对车牌图片加入角度检测。
角度检测办法采用线性拟合的方式，由于检测到的车牌轮廓是由许多点组成的，那么可以近似认为这些点的拟合直线的斜率就是车牌的倾斜角：

由于轮廓点选取存在差异，因此拟合直线的斜率和实际车牌角度并不是完全相符，因此选取一个阈值作为检测范围，对拟合直线的斜率求绝对值，若值大于该阈值，判定该车牌为倾斜，进而对原图片进行旋转操作后再次重复车牌检测的步骤，即可裁剪得到需要的车牌图片，否则直接输出裁剪得到的车牌图片：


第二步、第三步：对字符进行分割并识别
已知第一步提取得到的车牌分两种类型，分为电动车车牌和油车车牌，可以通过对长宽比的筛选区分两种车牌，而后根据两种车牌的国标尺寸进行字符分割。
具体方法为将所有提取到的车牌图片先resize至统一尺寸，经实验，我选择油车车牌尺寸为：（140，32），新能源车车牌尺寸为：（155，32）。而后利用其字符占宽相同的特征，直接使用字宽尺寸进行切割。
模板匹配采取openCV中的matchTemplate方法进行，匹配算法使用cv2.TM_CCOEFF_NORMED（归一化相关系数匹配法）。
在对提取到的车牌进行模板匹配前，为提高匹配准确率，事先对模板图片进行预处理，具体过程为将模板二值化，并且resize至19×32的大小（与待匹配图片大小相同）：

观察发现“7”存在噪点，手动去除：

得到两种车牌的切割识别效果如下（准确率仅计算数字部分）：


由表格可知，字符分割效果比较良好，分割得到的字符基本都处于图片的正中间，无缺损，包括3个补充题的车牌，均得到有效处理。
字符识别，即模板匹配部分，平均识别精度为85.38%。对于黄色车牌，识别精度为95.45%。问题最大的是蓝色车牌，由于蓝色车牌的数字部分为白色，直接使用cv2.TM_CCOEFF_NORMED，会导致判别时将蓝底部分作为数字旁别，后续考虑二值化后通过计算黑色像素个数来判定是否为蓝色车牌，若为蓝色车牌，则颜色取反。绿色车牌识别精度较低的原因在于其字符所使用的字体与模板不同，导致模板无法较好匹配。

特征设计

将前期分割好的图片进行二值化处理，并对模板图片进行二值化处理。由于分割的图片大小和模板大小一致，所以可以考虑两种特征比较得方法
①将两个图片对应点的像素相减（白减黑），若相同，则计数器加一，最终得到一个累计值。将10个数字模板依次与待匹配图片进行相同操作，对比10个模板的累计值大小，值最大的，认为匹配度最高，对应得那个数则为识别结果；
②分别累计模板图片和待匹配图片得黑色像素个数，而后将两个图片得黑色像素个数相减，绝对值最小的，则认为匹配度最高。
匹配情况见下图（第一行方法①识别的结果，第二行为方法②识别的结果）：


由表可知，方法①的平均准确率为84.36%，略低于归一化相关系数匹配法，其中对蓝色车牌识别精度为66.67%，优于归一化相关系数匹配法，方法②的平均准确率为30%，时三种方法中精度最低的。原因在于方法②容易受到噪点干扰。

具体代码见链接：基于openCV的车牌识别（模板匹配）python版