灰度变换
灰度图是指将黑色和白色以对数的关系分为256阶的图像。灰度化处理就是将彩色图片通过处理转化为灰度图的过程。彩色图像一般由三个独立色组成,R、G、B三个分量分别显示出红、绿、蓝。灰度化处理就是使R、G、B三个分量相等。灰度值为255的点就是白色,灰度值为0的就是黑色,其范围为0至255。
由于车牌的颜色不同,所以从拍摄的汽车图像直接提取会有很大的困难,但是汽车车牌与车牌上的字符颜色对比度却很大,并且灰度图像是一种最简单的对比度增强方法。所以将彩色图像转换为灰度图像,可以快速准确得确定车牌的位置。运用该技术不仅可以减少数据上得存储,也可以大大地提升运行速度。
边缘检测
边缘检测是图像处理和计算机视觉中比较常见的问题,也是图像中经常运用的技术。边缘的目的就是将数字图像中亮度明显的点标识出来,或者是我们所需要的的点标识出来。这些点基本上都可以反映出属性的重要事件和变化,其中包括深度上的变化、表面上的变化、物质属性上和场景照明上的变化。边缘检测在图像处理和计算机视觉中特征提取方向具有重要地位,具有很好的发展前景。
图像边缘检测可以确定我们所需要的的区域图像,清除了其中我们不需要的一些图像,保留了图像中重要的结构属性,并在一定程度上减少数据量。目前,边缘检测有许多方法,也有许多算法。这些方法或算法大体上可以分为两种:查找和零穿越。查找的方法就是寻找图像一阶导数中的最大值和最小值来确定图像的边界。零穿越的方法是通过寻找图像二阶导数零穿越来寻找边界,这个方法通常用Laplacian过零点或者非线性差分表示过零点。这两种类别我们也可以认为是按照导数一阶和二阶两类。`
图像增强
因为外界复杂的环境,对车辆图像进行灰度变换后,车辆图像中车牌区域和其他区域图像的对比度并不是很高,若直接进行车牌定位子系统运行,可能会难以准确确定车牌的位置。车牌自动识别系统需要具有实时性、准确性和极速性,对车牌准确定位和运行速度要求十分严格。因此,必须要准确确定图像中车牌的位置,并且不能影响运行速度。所以,为了增强牌照部位图像和其他区域的对比度,需要对图像进行增强。
图像增强的方法大体可以分为两大类:频率域法和空间域法。频率域法是将图像看成一种二维信号,通过二维傅里叶变换对其增强。主要有低通滤波和高通滤波,采用低通滤波是去除噪声,若采用高通滤波则是增强高频信号。空间域法是直接对图像灰度级做运算,主要有局部求平均法和中值滤波法等,它们主要是去除或减弱噪声。
(1)频率域算法
频域增强算法主要是通过图像的傅里叶变换进行增强。频率域算法中比较常用的方法有低通滤波和高通滤波。低通滤波去除其中反映细节和跳变性的高频分量。低频滤波有理想低通滤波器、Butterworth滤波器、指数滤波器等。高通滤波是利用高通滤波器来忽略图像中平缓的部分,突出图像中的高频部分。高通滤波可以使图像的边缘信息更加明显,所以适用于图像中物体的边缘提取。高通滤波器主要有理想高通滤波器、梯形滤波器、指数滤波器等。
(2)空间域算法
空间域算法主要有点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等,目的或使图像成像均匀,或扩大图像动态范围,扩展对比度。邻域增强算法主要分为图像平滑和锐化两种。平滑一般用于图像去噪,但对边缘的增强不是很好。比较常用算法有均值滤波和中值滤波。锐化则是跟平滑相反,锐化则是增强物体的边缘。常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。
本文选择中值滤波法对车牌进行图像增强。中值滤波可以很好的在消除噪声的同时,将图像边缘完好的保留。在均值滤波器是通过平均计算,所以噪声会受到影响。但中值滤波器却几乎不会受到影响。所以中值滤波消除噪声的效果更好,但中值滤波耗时比较长。
车牌定位
车牌的定位子系统设计是车牌识别系统的核心系统,车牌是否能准确定位直接影响到后续系统的运行。这个方法定位精确,速度快,并且受噪声影响极小。并且这个方法可以在多个汽车图像中对车牌定位。但如果车牌严重褪色的情况下,会导致定位准确率下降。因为在车牌褪色的情况下,会导致相同区域出现灰度值不一样的情况。
图像二值化处理
图像二值化就是将图像上所有像素点的灰度值设为两个极值(0或255)的灰度图像,将整个彩色图像变成黑白效果,也就是最初的黑白照片。灰度值0和255范围内共有256种颜色,0和255就是前面所述的黑色和白色。即将256个亮度等级的灰度图像通过适当的阀值选取方法而获得仍然可以反映图像整体和局部特征的二值化图像。图像二值化技术在数字图像处理中经常运用,将彩色图像进行二值化处理,可以大量减小在数据上的储存量,也会大大提升程序运行的速度。图像二值化处理的原理其实十分简单,就是将图像上所有的灰度值变成0或255,也就是变成黑和白,将整个图像变成黑白效果。通常为了使二值化处理后的图像效果显著,一般采用封闭、连通的边界定义不交叠的区域。
图像二值化阈值方法主要分为三类:
(1)整体阈值法:整个处理过程中只采用全局阈值的方法。若全局阈值为a,则将原图像每一个像素的灰度值与a比较,大于则为黑色,反之则为白色。
(2)局部阈值法:像素的阈值由当前的像素灰度值与该值附近点的局部灰度值来确定。也就是说,将原有图片分为几部分,每个部分采用整体阈值法。
(3)动态阈值法:阈值选择由该像素及附近的灰度值和像素的坐标位置共同决定。
本文采用整体阈值法,主要是对车牌的二值化处理,车牌字符大小统一,故采用整体阈值法即可。通过对图像二值化处理,使图像只剩0或255两个级值,使处理变得简单,并且很大程度上压缩了数据上的储存量。
字符分割子系统设计
车牌字符分割就是把图像中车牌的每个字符分割出来,使其成为单个的字符图像,方便下一步的字符识别可以精确识别。字符分割前,首先需要将图像进行去噪处理,,然后对字符进行分割[12]。分割出来的每个字符将是字符识别输入数据,输入到字符识别的系统。车牌字符分割的原理是利用车牌字符的特点,如字符规定的大小,之间的间隔等等。根据这些特点,本文主要介绍垂直投影分割法。2007年颁布的我国车牌规范普通中小型汽车规定车牌总长440mm,牌照中的7个字符的实际总长为409mm,宽140mm, 每个字符长45mm, 宽90mm,字符间距为10mm,其中前两个字符为车辆归属地信息,第二个字符与第三个字符的间距较为特殊,为15.5mm,最后一个字符与第一个字符距边界25mm。根据这些特点,车辆自动识别系统字符分割部分采用垂直投影分割法,本文也主要介绍垂直投影分割法。
字符分割前的图像去噪处理
图像依然存在较大的图像噪点,为了消除这些噪点我们可以通过处理图像的低频部分来锐化图像。锐化图像采用均值滤波算法,均值滤波也称为线性滤波,其采用的主要方法为邻域平均法。这种方法的基本原理是用图像中像素点的均值代替原图像中的所有像素值。即针对正在处理的像素点和它周围的8个像素点共9个像素点构成一个滤波模板,除去目标象素本身,求模板中其他8个像素点的平均值,再把该平均值赋予当前像素点,作为处理后图像在该点上的灰度,即为该模板中包含当前像素在内的像素总个数。这样处理过后我们观察滤波后的图像中字符更加清楚,效果十分明显,不但噪声去除了,而且图像也得到了锐化,可谓是一举双得。
3.5.2 垂直投影分割法
因为我国对车牌有着严格的规定,包括车牌的大小,字符的大小、间隔等等都有统一的标准。针对这一特征,对于车牌中字符分割这一环节,可以运用垂直投影分割法对字符准确分割。
垂直投影分割法就是将经过灰度处理的车牌图像,将图像的像素灰度值垂直方向累加,就是“垂直投影”。因为车牌中的字符之间的灰度值一般是0,在字符之间会发生灰度值不同的情况,这会产生近似谷底的形状,或者说整个车牌区域会形成波峰的形状。这个波峰就是字符的间隔处,在这个地方对字符进行分割。
字符识别子系统设计
字符识别是车牌识别系统最后一个环节,也是整个车牌识别系统最重要的部分,也是比较困难的部分。
我国的车牌由汉字,数字,字母组成。和与国外的车牌相比,我国车牌的汉字是独一无二的,也是整个车牌识别系统中最困难的部分。因为无法突破汉字识别这一难题,国外的车牌自动识别系统也无法进入我国的市场。而我认为应对这一难题,最好的方法就是使用模板匹配法,我国车牌的汉字部分基本上都是省名字的缩写,数量有限,所以使用模板匹配法可以大大减少识别错误的发生,提高识别的准确率。
3.6.1 字符归一化
因为图像采集时图像的像素值由拍摄设备所决定,但这个图像中字符的大小和我们模板字符库中的字符会出现大小不同的情况,这将直接影响到后面的字符匹配。所以我们需要提前进行字符归一化处理,使图像中字符的大小跟模板图像大小一致,这样可以提高字符识别准确率。
字符识别方法
目前比较常用的字符识别方法主要有人工神经网络识别和模板匹配法。人工神经网络是一种数学模型,它主要是通过模拟人脑思维功能和组织建立起来的。虽然现在神经网络正在迅速发展,但总体来说其中原理还是比较复杂的。模板匹配法是将从待识别的图像中提取一些特征量与模板库里的模板特征量进行比较,计算他们之间规格化的互相关量,我们可以认为互相关量最大的一个为相似程度最高,认为这两个字符匹配成功。也可以通过计算图像字符与模板字符之间的距离,用最小距离法判定所属类相同。
本文采用字符模板匹配法,模板匹配法虽然识别率低,但实现简单,计算量小,只有矩阵的加减与统计,而且车牌字符只有阿拉伯数字,英文大写字母。虽然我国车牌有汉字,但汉字的数量有限。这种方法对字符图像的缺损、污迹干扰适应力强且识别率相当高。
本文结合所选汽车牌照的特点只制作了部分汉字字符模板,字符模板首先通过截取标准的字符图片,然后对其进行二值化处理,然后在图中查找有效连通区域,然后将其归一化处理,每个字符变成为16x16的网格形状,统计整个字符图像中各个网格黑像素的数量,从而得出字符的特征量,同时统计出该字符水平,垂直和左右轮廓特征,将该字符和特征量存入字符模板库。
其中数字模板1的字符特征量较少,识别难度有所增加。针对这一情况,数字字符1的识别模板采用粗线条增加字符特征量,识别效果更好。