唐宇迪ocr检测图片

本文主要是学习唐宇迪ocr检测图片的工具和步骤

边缘检测

1. 读取图片（要备份）并求出图片比例，按照一定比例变换原图大小。

image = cv2.imread(args["image"])
#坐标也会相同变化
ratio = image.shape[0] / 500.0
orig = image.copy()


image = resize(orig, height = 500)

1. 常见的预处理操作，彩图转化为灰度图，（高斯）滤波操作，（Canny）边缘检测

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 75, 200)

获取轮廓

1. 画出轮廓，给轮廓按照面积大小排序，找到需要的前五个轮廓

cnts, hierarchy= cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]

2. 找到具有规则形状的轮廓

for c in cnts:
	# 计算轮廓近似
	peri = cv2.arcLength(c, True)
	# C表示输入的点集
	# epsilon表示从原始轮廓到近似轮廓的最大距离，它是一个准确度参数
	# True表示封闭的
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)

	# 4个点的时候就拿出来
	if len(approx) == 4:
		screenCnt = approx
		break

这儿所谓具有规则形状的轮廓，必须要求有4个顶点，不一定是矩形。
cv2.arcLength(c, True) 求的是轮廓周长
cv2.approxPolyDP(c, 0.02 * peri, True) 按照算法将轮廓填充完整，0.02 * peri是精度

3. 将获取的轮廓在原图画出来（已经改变了原图）

cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)

透视变换

1. 把图片拉正，变为一个规整的矩形,第二个参数把变换后的轮廓的坐标点放大为原来的大小

warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)

透视变换的具体代码如下

def four_point_transform(image,pts):
    rect = order_points(pts)
    (tl,tr,br,bl) = rect

    # 计算输入的w和h值
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))

    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))

    # 变换后对应坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype="float32")
    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))

    # 返回变换后结果
    return warped

先求出轮廓坐标连线的欧氏距离，取长和宽的最大值为一个矩形标准，再求出变换矩阵M，把原来的四边形变换到矩形标准框内。

2. 对透视变换的图重新进行灰度转换，二值处理，保存到本地，供ocr工具进行识别

warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
cv2.imwrite('scan.jpg', ref)

总结一下，第一次灰度转换+滤波+边缘检测是为了求出轮廓，从而进行坐标点定位，第二次灰度转换+二值处理是为了得到对比度更鲜明的图片，方便ocr工具识别。

ocr识别

# https://digi.bib.uni-mannheim.de/tesseract/
# 配置环境变量如E:\Program Files (x86)\Tesseract-OCR
# tesseract -v进行测试
# tesseract XXX.png 得到结果 
# pip install pytesseract
# anaconda lib site-packges pytesseract pytesseract.py
# tesseract_cmd 修改为绝对路径即可
from PIL import Image
import pytesseract
import cv2
import os

preprocess = 'blur' #thresh

image = cv2.imread('scan.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

if preprocess == "thresh":
    gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]

if preprocess == "blur":
    gray = cv2.medianBlur(gray, 3)
    
filename = "{}.png".format(os.getpid())
cv2.imwrite(filename, gray)
    
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)

cv2.imshow("Image", image)
cv2.imshow("Output", gray)
cv2.waitKey(0)                                   

对图片进行中值滤波，滤掉噪点，ocr将识别结果打印到控制台。