本文主要是学习唐宇迪ocr检测图片的工具和步骤
边缘检测
- 读取图片(要备份)并求出图片比例,按照一定比例变换原图大小。
image = cv2.imread(args["image"])
#坐标也会相同变化
ratio = image.shape[0] / 500.0
orig = image.copy()
image = resize(orig, height = 500)
- 常见的预处理操作,彩图转化为灰度图,(高斯)滤波操作,(Canny)边缘检测
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 75, 200)
获取轮廓
- 画出轮廓,给轮廓按照面积大小排序,找到需要的前五个轮廓
cnts, hierarchy= cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
- 找到具有规则形状的轮廓
for c in cnts:
# 计算轮廓近似
peri = cv2.arcLength(c, True)
# C表示输入的点集
# epsilon表示从原始轮廓到近似轮廓的最大距离,它是一个准确度参数
# True表示封闭的
approx = cv2.approxPolyDP(c, 0.02 * peri, True)
# 4个点的时候就拿出来
if len(approx) == 4:
screenCnt = approx
break
这儿所谓具有规则形状的轮廓,必须要求有4个顶点,不一定是矩形。
cv2.arcLength(c, True) 求的是轮廓周长
cv2.approxPolyDP(c, 0.02 * peri, True) 按照算法将轮廓填充完整,0.02 * peri是精度
- 将获取的轮廓在原图画出来(已经改变了原图)
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
透视变换
- 把图片拉正,变为一个规整的矩形,第二个参数把变换后的轮廓的坐标点放大为原来的大小
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
透视变换的具体代码如下
def four_point_transform(image,pts):
rect = order_points(pts)
(tl,tr,br,bl) = rect
# 计算输入的w和h值
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
maxWidth = max(int(widthA), int(widthB))
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
maxHeight = max(int(heightA), int(heightB))
# 变换后对应坐标位置
dst = np.array([
[0, 0],
[maxWidth - 1, 0],
[maxWidth - 1, maxHeight - 1],
[0, maxHeight - 1]], dtype="float32")
# 计算变换矩阵
M = cv2.getPerspectiveTransform(rect, dst)
warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
# 返回变换后结果
return warped
先求出轮廓坐标连线的欧氏距离,取长和宽的最大值为一个矩形标准,再求出变换矩阵M,把原来的四边形变换到矩形标准框内。
- 对透视变换的图重新进行灰度转换,二值处理,保存到本地,供ocr工具进行识别
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
cv2.imwrite('scan.jpg', ref)
总结一下,第一次灰度转换+滤波+边缘检测是为了求出轮廓,从而进行坐标点定位,第二次灰度转换+二值处理是为了得到对比度更鲜明的图片,方便ocr工具识别。
ocr识别
# https://digi.bib.uni-mannheim.de/tesseract/
# 配置环境变量如E:\Program Files (x86)\Tesseract-OCR
# tesseract -v进行测试
# tesseract XXX.png 得到结果
# pip install pytesseract
# anaconda lib site-packges pytesseract pytesseract.py
# tesseract_cmd 修改为绝对路径即可
from PIL import Image
import pytesseract
import cv2
import os
preprocess = 'blur' #thresh
image = cv2.imread('scan.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
if preprocess == "thresh":
gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
if preprocess == "blur":
gray = cv2.medianBlur(gray, 3)
filename = "{}.png".format(os.getpid())
cv2.imwrite(filename, gray)
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)
cv2.imshow("Image", image)
cv2.imshow("Output", gray)
cv2.waitKey(0)
对图片进行中值滤波,滤掉噪点,ocr将识别结果打印到控制台。