基于Matlab的车牌识别系统

基于Matlab的车牌识别系统

一、设计原理

车辆车牌识别系统的基本工作原理为：将摄像头拍摄到的包含车辆车牌的图像通过视频卡输入到计算机中进行预处理，再由检索模块对车牌进行搜索、检测、定位，并分割出包含车牌字符的矩形区域，然后对车牌字符进行二值化并将其分割为单个字符，然后输入JPEG或BMP格式的数字，输出则为车牌号码的数字。车牌自动识别是一项利用车辆的动态视频或静态图像进行车牌号码、车牌颜色自动识别的模式识别技术。其硬件基础一般包括触发设备、摄像设备、照明设备、图像采集设备、识别车牌号码的处理机等，其软件核心包括车牌定位算法、车牌字符分割算法和光学字符识别算法等。某些车牌识别系统还具有通过视频图像判断车辆驶入视野的功能称之为视频车辆检测。一个完整的车牌识别系统应包括车辆检测、图像采集、车牌识别等几部分。当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。车牌识别单元对图像进行处理，定位出车牌位置，再将车牌中的字符分割出来进行识别，然后组成车牌号码输出。

二、设计步骤

总体步骤为：

车辆→图像采集→图像预处理→车牌定位

→字符分割→字符定位→输出结果

基本的步骤：

a.车牌定位，定位图片中的车牌位置；

b.车牌字符分割，把车牌中的字符分割出来；

c.车牌字符识别，把分割好的字符进行识别，最终组成车牌号码。

　　车牌识别过程中，车牌颜色的识别依据算法不同，可能在上述不同步骤实现，通常与车牌识别互相配合、互相验证。

(1）车牌定位:

自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定车牌区域是整个识别过程的关键。首先对采集到的视频图像进行大范围相关搜索，找到符合汽车车牌特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为车牌区域，并将其从图象中分割出来。

流程图:

（2）车牌字符分割 :

完成车牌区域的定位后，再将车牌区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近，并且这个位置应满足车牌的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。

流程图：

（3）车牌字符识别 :

字符识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法首先将分割后的字符二值化,并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果。基于人工神经元网络的算法有两种：一种是先对待识别字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。实际应用中，车牌识别系统的识别率与车牌质量和拍摄质量密切相关。车牌质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、车牌被遮挡、车牌倾斜、高亮反光、多车牌、假车牌等等；实际拍摄过程也会受到环境亮度、拍摄亮度、车辆速度等等因素的影响。这些影响因素不同程度上降低了车牌识别的识别率，也正是车牌识别系统的困难和挑战所在。为了提高识别率，除了不断的完善识别算法，还应该想办法克服各种光照条件，使采集到的图像最利于识别。

流程图：

三 源码实现

3.1输入待处理的原始图像:

clear ;

close all;

%Step1 获取图像 装入待处理彩色图像并显示原始图像

Scolor = imread('3.jpg');%imread函数读取图像文件

图3.1原始图像

3.2图像的灰度化:

彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的过程叫做灰度化处理。选择的标准是经过灰度变换后，像素的动态范围增加，图像的对比度扩展，使图像变得更加清晰、细腻、容易识别。

%将彩色图像转换为黑白并显示

Sgray = rgb2gray(Scolor);%rgb2gray转换成灰度图

figure,imshow(Sgray),title('原始黑白图像');

图3.2原始黑白图像

3.3对原始图像进行开操作得到图像背景图像:

s=strel('disk',13);%strei函数

Bgray=imopen(Sgray,s);%打开sgray s图像

figure,imshow(Bgray);title('背景图像');%输出背景图像

图3.3背景图像

3.4灰度图像与背景图像作减法，对图像进行增强处理:

Egray=imsubtract(Sgray,Bgray);%两幅图相减

figure,imshow(Egray);title('增强黑白图像');%输出黑白图像

图3.4黑白图像

3.5取得最佳阈值，将图像二值化:

二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分割开来，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息，不会产生额外的空缺等等。车牌识别系统要求处理的速度高、成本低、信息量大，采用二值图像进行处理，能大大地提高处理效率。阈值处理的操作过程是先由用户指定或通过算法生成一个阈值，如果图像中某中像素的灰度值小于该阈值，则将该像素的灰度值设置为0或255，否则灰度值设置为255或0。

fmax1=double(max(max(Egray)));%egray的最大值并输出双精度型

fmin1=double(min(min(Egray)));%egray的最小值并输出双精度型

level=(fmax1-(fmax1-fmin1)/3)/255;%获得最佳阈值

bw22=im2bw(Egray,level);%转换图像为二进制图像

bw2=double(bw22);

figure,imshow(bw2);title('图像二值化');%得到二值图像

图3.5二值图像

3.6边缘检测:

两个具有不同灰度值的相邻区域之间总存在边缘，边缘就是灰度值不连续的结果，是图像分割、纹理特征提取和形状特征提取等图像分析的基础。为了对有意义的边缘点进行分类，与这个点相联系的灰度级必须比在这一点的背景上变换更有效，我们通过门限方法来决定一个值是否有效。所以，如果一个点的二维一阶导数比指定的门限大，我们就定义图像中的次点是一个边缘点，一组这样的依据事先定好的连接准则相连的边缘点就定义为一条边缘。经过一阶的导数的边缘检测，所求的一阶导数高于某个阈值，则确定该点为边缘点，这样会导致检测的边缘点太多。可以通过求梯度局部最大值对应的点，并认定为边缘点，去除非局部最大值，可以检测出精确的边缘。一阶导数的局部最大值对应二阶导数的零交叉点，这样通过找图像强度的二阶导数的零交叉点就能找到精确边缘点。

grd=edge(bw2,'canny')%用canny算子识别强度图像中的边界

figure,imshow(grd);title('图像边缘提取');%输出图像边缘

图3.6像边缘提取

3.7对得到图像作开操作进行滤波:

数学形态非线性滤波，可以用于抑制噪声，进行特征提取、边缘检测、图像分割等图像处理问题。腐蚀是一种消除边界点的过程，结果是使目标缩小，孔洞增大，因而可有效的消除孤立噪声点；膨胀是将与目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大，孔洞缩小，可填补目标物体中的空洞，形成连通域。先腐蚀后膨胀的过程称为开运算，它具有消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用；先膨胀后腐蚀的过程称为闭运算，具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。对图像做了开运算和闭运算，闭运算可以使图像的轮廓线更为光滑，它通常用来消掉狭窄的间断和长细的鸿沟，消除小的孔洞，并弥补轮廓线中的断裂。

bg1=imclose(grd,strel('rectangle',[5,19]));%取矩形框的闭运算

figure,imshow(bg1);title('图像闭运算[5,19]');%输出闭运算的图像

bg3=imopen(bg1,strel('rectangle',[5,19]));%取矩形框的开运算

figure,imshow(bg3);title('图像开运算[5,19]');%输出开运算的图像

bg2=imopen(bg3,strel('rectangle',[19,1]));%取矩形框的开运算

figure,imshow(bg2);title('图像开运算[19,1]');%输出开运算的图像

图3.7.1闭运算的图像 图3.7.2开运算的图像

图3.7.3开运算的图像

3.8对二值图像进行区域提取，并计算区域特征参数。进行区域特征参数比较，提取车牌区域:

a.对图像每个区域进行标记，然后计算每个区域的图像特征参数：区域中心位置、最小包含矩形、面积。

[L,num] = bwlabel(bg2,8);%标注二进制图像中已连接的部分

Feastats = imfeature(L,'basic');%计算图像区域的特征尺寸

Area=[Feastats.Area];%区域面积

BoundingBox=[Feastats.BoundingBox];%[x y width height]车牌的框架大小

RGB = label2rgb(L, 'spring', 'k', 'shuffle'); %标志图像向RGB图像转换

figure,imshow(RGB);title('图像彩色标记');%输出框架的彩色图像

图3.8.1彩色图像

b. 计算出包含所标记的区域的最小宽和高，并根据先验知识，比较谁的宽高比更接近实际车牌宽高比，将更接近的提取并显示出来。

计算矩形的高度

框架的宽度和高度的范围

车牌的开始列

车牌的开始行

计算车牌长宽比

获取车牌二值子图

计算矩形的宽度

程序流程图 图3.8.2灰度子图和二值子图

3.9对水平投影进行峰谷分析:

对水平投影进行峰谷分析,计算出车牌上边框、车牌字符投影、车牌下边框的波形峰上升点、峰下降点、峰宽、谷宽、峰间距离、峰中心位置参数。

histcol1=sum(sbw1); %计算垂直投影

histrow=sum(sbw1'); %计算水平投影

figure,subplot(2,1,1),bar(histcol1);title('垂直投影（含边框）');%输出垂直投影

subplot(2,1,2),bar(histrow); title('水平投影（含边框）');%输出水平投影

图3.9.1垂直投影和水平投影

figure,subplot(2,1,1),bar(histrow); title('水平投影（含边框）');%输出水平投影

subplot(2,1,2),imshow(sbw1);title('车牌二值子图');%输出二值图

对水平投影进行峰谷分析:

求水平投影的最小值

取阈值

计算谷宽度

计算峰距离

计算下降点

找到峰中心位置

求水平投影的平均值

图3.9.2水平投影和二值图 程序流程图

3.10计算车牌旋转角度:

a.车牌倾斜的原因导致投影效果峰股谷不明显，在这里需要做车牌矫正处理。这里采取的线性拟合的方法,计算出车牌上边或下边图像值为1的点拟合直线与水平X轴的夹角。

求最大宽度为字符

检测上边

从顶边至第一个峰下降点扫描

从底边至最后一个峰的上升点扫描

找第一个为1的点

标示出图像大小

程序流程图

(2)线性拟合，计算与x夹角

fresult = fit(xdata',ydata','poly1'); %poly1表示一介拟合 Y = p1*x+p2

p1=fresult.p1;

angle=atan(fresult.p1)*180/pi; %弧度换为度，360/2pi, pi=3.14

(3)旋转车牌图象

subcol = imrotate(subcol1,angle,'bilinear','crop'); %旋转车牌图象

sbw = imrotate(sbw1,angle,'bilinear','crop');%旋转图像

figure,subplot(2,1,1),imshow(subcol);title('车牌灰度子图');%输出车牌旋转后的灰度图像标题显示车牌灰度子图

subplot(2,1,2),imshow(sbw);title('');%输出车牌旋转后的灰度图像

title(['车牌旋转角: ',num2str(angle),'度'] ,'Color','r');%显示车牌的旋转角度

图3.10.1旋转后的灰度图像和旋转角度

b.旋转车牌后重新计算车牌水平投影，去掉车牌水平边框，获取字符高度:

histcol1=sum(sbw); %计算垂直投影

histrow=sum(sbw'); %计算水平投影

figure,subplot(2,1,1),bar(histcol1);title('垂直投影（旋转后）');

subplot(2,1,2),bar(histrow); title('水平投影（旋转后）');

图3.10.2垂直投影（旋转后）和水平投影（旋转后）

figure,subplot(2,1,1),bar(histrow); title('水平投影（旋转后）');

subplot(2,1,2),imshow(sbw);title('车牌二值子图（旋转后）');

图3.10.3水平投影（旋转后）和车牌二值子图（旋转后）

3.11去水平（上下）边框,获取字符高度:

a.通过以上水平投影、垂直投影分析计算，获得了车牌字符高度、字符顶行与尾行、字符宽度、每个字符的中心位置，为提取分割字符具备了条件。

maxhight=max(markrow2);

findc=find(markrow2==maxhight);

rowtop=markrow(findc);

rowbot=markrow(findc+1)-markrow1(findc+1);

sbw2=sbw(rowtop:rowbot,:); %子图为(rowbot-rowtop+1)行

maxhight=rowbot-rowtop+1; %字符高度(rowbot-rowtop+1)

b.计算车牌垂直投影，去掉车牌垂直边框，获取车牌及字符平均宽度

histcol=sum(sbw2); %计算垂直投影

figure,subplot(2,1,1),bar(histcol);title('垂直投影（去水平边框后）');%输出车牌的垂直投影图像

subplot(2,1,2),imshow(sbw2); %输出垂直投影图像

title(['车牌字符高度： ',int2str(maxhight)],'Color','r');%输出车牌字符高度

%对垂直投影进行峰谷分析

求垂直投影的最小值

取阈值

计算字符上升点

计算谷宽度

计算字符距离

找到字符中心位置

求垂直投影的平均值

图3.11垂直投影图像和车牌字符高度 程序流程图

c.计算车牌上每个字符中心位置，计算最大字符宽度maxwidth

l=0;

for k=1:n1

markcol3(k)=markcol(k+1)-markcol1(k+1);%字符下降点

markcol4(k)=markcol3(k)-markcol(k); %字符宽度（上升点至下降点）

markcol5(k)=markcol3(k)-double(uint16(markcol4(k)/2));%字符中心位置

end

markcol6=diff(markcol5); %字符中心距离（字符中心点至下一个字符中心点）

maxs=max(markcol6); %查找最大值，即为第二字符与第三字符中心距离

findmax=find(markcol6==maxs);

markcol6(findmax)=0;

maxwidth=max(markcol6);%查找最大值，即为最大字符宽度

d.提取分割字符,并变换为22行*14列标准子图

l=1;

[m2,n2]=size(subcol);

figure;

for k=findmax-1:findmax+5

cleft=markcol5(k)-maxwidth/2;

cright=markcol5(k)+maxwidth/2-2;

if cleft<1

cleft=1;

cright=maxwidth;

end

if cright>n2

cright=n2;

cleft=n2-maxwidth;

end

SegGray=sbw(rowtop:rowbot,cleft:cright);

SegBw1=sbw(rowtop:rowbot,cleft:cright);

SegBw2 = imresize(SegBw1,[22 14]); %变换为22行*14列标准子图

subplot(2,n1,l),imshow(SegGray);

if l==7

title(['车牌字符宽度： ',int2str(maxwidth)],'Color','r');

end

subplot(2,n1,n1+l),imshow(SegBw2);

fname=strcat('F:\MATLAB\work\sam\image',int2str(k),'.jpg');%保存子图备选入样本库,并建立样本库

imwrite(SegBw2,fname,'jpg')

l=l+1;

end

3.12将计算计算获取的字符图像与样本库进行匹配，自动识别出字符代码:

进行车牌识别前需要使用样本对神经网络进行训练，然后使用训练好的网络对车牌进行识别。其具体流程为:使用汉字、字母、字母数字、数字四个样本分别对四个子网络进行训练，得到相应的节点数和权值。对已经定位好的车牌进行图像预处理，逐个的特征提取，然后从相应的文件中读取相应的节点数和权值，把车牌字符分别送入相应的网络进行识别，输出识别结果。

样本与数据库中图片相减

计算误差

找到误差最小图片

依次识别并识别

建立数据库

程序流程图 图3.12识别的车牌号码

四、设计结果及分析

原始图像: 预处理后：

车牌定位和提取： 字符的分割和识别：

可以看出对于这个车牌，可以准确的识别。

原始图像: 预处理：

车牌的定位和提取： 字符的分割和识别：