OCR传统技术-车牌识别_CodingPark编程公园

OCR传统传统技术-车牌识别

项目流程：车牌提取 -> 字符分割 -> 内容识别

车牌提取

必要函数

# -*- encoding: utf-8 -*-
"""
@File    :   CarLicenseExtraction.py    
@Contact :   ag@team-ag.club
@License :   (C)Copyright 2019-2020, CodingPark

@Modify Time      @Author    @Version    @Desciption
------------      -------    --------    -----------
2020-11-08 19:27   AG         1.0         None
"""
import cv2
from matplotlib import pyplot as plt
import os
import numpy as np

'''

必要函数

'''

# cv图片显示
def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey()
    cv2.destroyAllWindows()


# plt图片显示
def plt_show_rgb(img):
    b, g, r = cv2.split(img)
    img = cv2.merge([r, g, b])
    plt.imshow(img)
    plt.show()


# plt灰度图显示
def plt_show_gray(img):
    plt.imshow(img, cmap='gray')
    plt.show()


# 图片去噪灰度处理
def gray_guss(img):
    image = cv2.GaussianBlur(img, (3, 3), 0)
    gray_image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
    return gray_image

读取图片

'''

读取待检测图片

'''
org_img = cv2.imread('test_image/test2.png')
plt_show_rgb(org_img)
print('===已读取到图片===')

提取车牌

def get_carLicense_img(img):
    gray_image = gray_guss(img)
    # sobel算子边缘检测（做了一个x方向的检测）
    Sobel_x = cv2.Sobel(gray_image, cv2.CV_16S, 1, 0)
    # 通过线性变换将数据转换成8位[uint8]
    absX = cv2.convertScaleAbs(Sobel_x)
    img = absX
    # 自适应阈值处理
    ret, img = cv2.threshold(img, 0, 255, cv2.THRESH_OTSU)      # 非常重要！
    print('ret->', ret)
    plt_show_gray(img)
    # 闭运算,是白色部分练成整体
    kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5))
    image = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernelX, iterations=3)
    plt_show_gray(image)
    # 去除一些小的白点
    kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (20, 1))
    kernelY = cv2.getStructuringElement(cv2.MORPH_RECT, (1, 19))
    # 膨胀，腐蚀
    image = cv2.dilate(image, kernelX)
    image = cv2.erode(image, kernelX)
    # 腐蚀，膨胀
    image = cv2.erode(image, kernelY)
    image = cv2.dilate(image, kernelY)
    # 中值滤波去除噪点
    image = cv2.medianBlur(image, 15)
    plt_show_gray(image)
    # 轮廓检测
    # contours 轮廓
    # cv2.RETR_EXTERNAL表示只检测外轮廓
    # cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息
    contours, hierarchy = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # print('contours->', contours)
    # print('hierarchy->', hierarchy)
    # 这中间的就是给自己看的⬇️
    imageCopy = org_img.copy()
    cv2.drawContours(imageCopy, contours, -1, (0, 255, 0), 5)
    plt_show_rgb(imageCopy)
    # 这中间的就是给自己看的⬆️

    # 筛选出车牌位置的轮廓
    # 这里做了一个车牌的长宽比在3:1到4：1之间这样一个判断
    for item in contours:
        # print('item->', item)
        # cv2.boundingRect用一个最小的矩形，把找到的形状包起来
        rect = cv2.boundingRect(item)
        x = rect[0]
        y = rect[1]
        w = rect[2]
        h = rect[3]

        # 440mm×140mm
        if (w > (h*3)) and (w < (h*4)):
            image_CarLic = org_img[y:y+h, x:x+w]
            plt_show_rgb(image_CarLic)
            # 图像保存
            cv2.imwrite('test_result/test2.png', image_CarLic)
            return image_CarLic

高斯去噪

灰度处理

sobel算子边缘检测

自适应阈值处理

闭运算,是白色部分练成整体
print(kernelX)
[[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]
[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]
[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]
[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]
[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]]

去除一些小的白点 | 膨胀，腐蚀 | 腐蚀，膨胀

中值滤波去除噪点

绘制轮廓

筛选出车牌

cv2.Sobel()

函数cv2.Sobel(src, ddepth, dx, dy[, ksize[, scale[, delta[, borderType]]]])
概述：利用Sobel算子进行图像梯度计算

参数：
src：输入图像
ddepth: 输出图像的深度（可以理解为数据类型），-1表示与原图像相同的深度
dx,dy:当组合为dx=1,dy=0时求x方向的一阶导数，当组合为dx=0,dy=1时求y方向的一阶导数（如果同时为1，通常得不到想要的结果）
ksize:（可选参数）Sobel算子的大小，必须是1,3,5或者7,默认为3。求X方向和Y方向一阶导数时，卷积核分别为：

scale:（可选参数）将梯度计算得到的数值放大的比例系数，效果通常使梯度图更亮，默认为1
delta:（可选参数）在将目标图像存储进多维数组前，可以将每个像素值增加delta，默认为0
borderType:（可选参数）决定图像在进行滤波操作（卷积）时边沿像素的处理方式，默认为BORDER_DEFAULT
返回值：
梯度图

cv2.convertScaleAbs()

过线性变换将数据转换成8位[uint8]

cv2.threshold()

Python: cv2.threshold(src, thresh, maxval, type[, dst]) → retval, dst

在其中：
src：表示的是图片源
thresh：表示的是阈值（起始值）
maxval：表示的是最大值
type：表示的是这里划分的时候使用的是什么类型的算法**，常用值为0（cv2.THRESH_BINARY）**

getStructuringElement()

getStructuringElement(int shape, Size esize, Point anchor = Point(-1, -1));

这个函数的第一个参数表示内核的形状，有三种形状可以选择。

矩形：MORPH_RECT;

交叉形：MORPH_CROSS;

椭圆形：MORPH_ELLIPSE;

第二和第三个参数分别是内核的尺寸以及锚点的位置。一般在调用erode以及dilate函数之前，先定义一个Mat类型的变量来获得getStructuringElement函数的返回值。对于锚点的位置，有默认值Point（-1,-1），表示锚点位于中心点。element形状唯一依赖锚点位置，其他情况下，锚点只是影响了形态学运算结果的偏移。

morphologyEx()

opencv 形态学变换 morphologyEx函数
高级形态学变换：
开运算：
先腐蚀，再膨胀，可清除一些小东西(亮的)，放大局部低亮度的区域
闭运算：
先膨胀，再腐蚀，可清除小黑点
形态学梯度：
膨胀图与腐蚀图之差，提取物体边缘
顶帽：
原图像-开运算图，突出原图像中比周围亮的区域
黑帽：
闭运算图-原图像，突出原图像中比周围暗的区域

1.cv2.morphologyEx(src, op, kernel) 进行各类形态学的变化

参数说明:src传入的图片，op进行变化的方式， kernel表示方框的大小

2.op = cv2.MORPH_OPEN 进行开运算，指的是先进行腐蚀操作，再进行膨胀操作

3. op = cv2.MORPH_CLOSE 进行闭运算， 指的是先进行膨胀操作，再进行腐蚀操作

开运算：表示的是先进行腐蚀，再进行膨胀操作

闭运算：表示先进行膨胀操作，再进行腐蚀操作

findContours() & drawContours()

cv2.findContours()有三个参数。

第一个是输入图像，第二个是轮廓检索模式，第三个是轮廓近似方法。而返回值根据OpenCV版本不同也不一样，但这俩个版本都会返回一个元组。OpenCV2.x版本第一个元素是轮廓，，而在OpenCV3.x中第二个才是轮廓。这个轮廓是一个列表，每个列表元素代表着一个轮廓。

cv2.findContours()第二个参数有什么用？
对于轮廓来说可能还包含父子关系，也就是说一个轮廓里面可能还包含着其他轮廓（比如说房子的轮廓可以包含一个矩形的窗户，则房子为父，窗户为子，而窗户里可能有个人的头，这又是一种父子关系），这其中的层次结构可以通过对第二个参数设置来选择是否获取。

在这幅图中，给这几个形状编号为 0-5。 2 和 2a 分别代表最外边矩形的外轮廓和内轮廓。在这里边轮廓 0， 1， 2 在外部或最外边。我们可以称他们为（组织结构）0 级，简单来说就是他们属于同一级。接下来轮廓 2a。 我们把它当成轮廓 2 的子轮廓。它就成为（组织结构）第1 级。同样轮廓 3 是轮廓 2 的子轮廓，成为（组织结构）第 3 级。最后轮廓4,5 是轮廓 3a 的子轮廓，成为（组织结构） 4 级（最后一级）。按照这种方式给这些形状编号。而在OpenCV有哪些参数可选呢？

• RETR_LIST 从解释的角度来看，这中应是最简单的。它只是提取所有的轮廓，而不去创建任何父子关系。
• RETR_EXTERNAL 如果你选择这种模式的话，只会返回最外边的的轮廓，所有的子轮廓都会被忽略掉。
• RETR_CCOMP 在这种模式下会返回所有的轮廓并将轮廓分为两级组织结构。
• RETR_TREE 这种模式下会返回所有轮廓，并且创建一个完整的组织结构列表。它甚至会告诉你谁是爷爷，爸爸，儿子，孙子等。

findContours()第三个参数什么意思呢？
如果设为cv2.CHAIN_APPROX_NONE，，表示边界所有点都会被储存；而如果设为cv2.CHAIN_APPROX_SIMPLE 会压缩轮廓，将轮廓上冗余点去掉，比如说四边形就会只储存四个角点。

cv2.drawContours()被用来绘制轮廓
第一个参数是一张图片，可以是原图或者其他。第二个参数是轮廓，也可以说是cv2.findContours()找出来的点集，一个列表。第三个参数是对轮廓（第二个参数）的索引，当需要绘制独立轮廓时很有用，若要全部绘制可设为-1。接下来的参数是轮廓的颜色和厚度。

cv2.rectangle()和cv2.boundingRect()

cv2.boundingRect(img)
img是一个二值图，也就是它的参数；返回四个值，分别是x，y，w，h；x，y是矩阵左上点的坐标，w，h是矩阵的宽和高。

然后利用

cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)画出矩行

参数解释
第一个参数：img是原图
第二个参数：（x，y）是矩阵的左上点坐标
第三个参数：（x+w，y+h）是矩阵的右下点坐标
第四个参数：（0,255,0）是画线对应的rgb颜色
第五个参数：2是所画的线的宽度

字符分割V1

*CarLicenseExtraction_BASE.py *

'''

字符分割

'''

def carLicense_spilte(image):
    gray_image = gray_guss(image)
    # 自适应阈值处理
    ret, img = cv2.threshold(gray_image, 0, 255, cv2.THRESH_OTSU)
    # plt_show_gray(img)
    # 计算二值图像黑白点的个数，处理绿牌照问题，让车牌号码始终为白色
    area_white = 0
    area_black = 0
    height, width = img.shape
    for i in range(height):
        for j in range(width):
            if img[i, j] == 255:
                area_white += 1