HyperLPR 高性能中文车牌识别系统分析(十一)

2021SC@SDUSC

概述

上篇已对SimpleRecognizePlateByE2E()函数的内部调用的函数delectPlateRough()、finemappingVertical()、recognizeOne()进行分析总结

接下来是对SimpleRecognizePlateByE2E()函数的结构与功能的最终分析与总结

SimpleRecognizePlateByE2E()函数

该函数接收的输入就是待识别车牌所在的图片，第一步就是使用detectPlateRough函数进行图像分割，经历过这一步之后，images舍弃掉不需要的背景，只保留裁剪出车牌的轮廓。

运用finemappingVertical，进一步裁剪出车牌区域有文字的部分，舍弃掉没有文字的背景，裁剪下来的部分命名为送入recognizeOne函数中识别出文字，不仅识别出文字，还会给出结果的置信度，识别结果及其置信度一并存入res_set数组，作为结果返回

slidingWindowsEval函数

使用了模板匹配法进行分析。

模板匹配法根据车牌的标准样式，结合字符的结构、尺寸和间距特征，设计出一个固定的模板和一个用来度量模板匹配程度的评价函数，然后将该模板在归一化后的图像中从左至右滑动，每滑动一次计算对应的评价值，最终选出匹配程度最高的模板滑动位置作为字符分割的位置。

第一步是获取图像并进行预处理

 windows_size = 16;

    stride = 1

    height= image.shape[0]

    t0 = time.time()

    data_sets = []


    for i in range(0,image.shape[1]-windows_size+1,stride):

        data = image[0:height,i:i+windows_size]

        data = cv2.resize(data,(23,23))

        # cv2.imshow("image",data)

        data = cv2.equalizeHist(data)

        data = data.astype(np.float)/255

        data=  np.expand_dims(data,3)

        data_sets.append(data)


    res = model2.predict(np.array(data_sets))

    print("分割",time.time() - t0)


    pin = res

    p = 1 -  (res.T)[1]

    p = f.gaussian_filter1d(np.array(p,dtype=np.float),3)

    lmin = l.argrelmax(np.array(p),order = 3)[0]

获取包含车牌的图像后，首先要把图像转化成灰度图，并且进行直方图均衡化、裁剪缩放等图形学处理，使之更易识别。不过这个函数的输入图片，早在主函数中就已经完成了灰度图转化等预先处理，并且输入函数的图片，早就在主函数中粗裁剪出车牌的大体位置，所以预处理的步骤主要不是在这个函数之中完成的

第二步图像分割

pin = np.array(pin)

    res =  searchOptimalCuttingPoint(image,pin,0,mid,3)


    cutting_pts = res[1]

    last =  cutting_pts[-1] + mid

    if last < image.shape[1]:

        cutting_pts.append(last)

    else:

        cutting_pts.append(image.shape[1]-1)

    name = ""

    confidence =0.00

    seg_block = []

    for x in range(1,len(cutting_pts)):

        if x != len(cutting_pts)-1 and x!=1:

            section = image[0:36,cutting_pts[x-1]-2:cutting_pts[x]+2]

        elif  x==1:

            c_head = cutting_pts[x - 1]- 2

            if c_head<0:

                c_head=0

            c_tail = cutting_pts[x] + 2

            section = image[0:36, c_head:c_tail]

        elif x==len(cutting_pts)-1:

            end = cutting_pts[x]

            diff = image.shape[1]-end

            c_head = cutting_pts[x - 1]

            c_tail = cutting_pts[x]

            if diff<7 :

                section = image[0:36, c_head-5:c_tail+5]

            else:

                diff-=1

                section = image[0:36, c_head - diff:c_tail + diff]

        elif  x==2:

            section = image[0:36, cutting_pts[x - 1] - 3:cutting_pts[x-1]+ mid]

        else:

            section = image[0:36,cutting_pts[x-1]:cutting_pts[x]]

        seg_block.append(section)
   refined = refineCrop(seg_block,mid-1)

上述代码就是图像分割的代码。图像分割的目的把车牌上的多个文字分离开来，因为对比的时候是要把每个文字（字母、数字、汉字），与我们预先准备的所有字母、数字、汉字的标准模板进行比对，比对的时候必须是每个字与每个字比对，

这里进行了两轮分割，第一轮就是使用了searchOptimalCuttingPoint函数，根据车牌上文字分布的几何规律——每个字宽度近似相同，进行分割，把每个文字最可能位于的几何区域先划分出来。第二轮每个区域内已经只有一个文字了，对每个区域使用refineCrop函数，运用边缘检测的原理，找到那个文字的边缘并且把那个文字所在的最小矩形找出来

第三步是文字识别

   t0 = time.time()

    for i,one in enumerate(refined):

        res_pre = cRP.SimplePredict(one, i )

        # cv2.imshow(str(i),one)

        # cv2.waitKey(0)

        confidence+=res_pre[0]

        name+= res_pre[1]

    print("字符识别",time.time() - t0)


    return refined,name,confidence

它主要是调用了已经训练好的模型。事先已经找好了26个字母+34个省份简称+10个数字的标准模板，并且根据这些模板输入给模型让他学习，只要模型训练好了，接下来给它分割好的单个文字，它就可以完成分类，给出最可能的结果，并且给出置信度。