项目:文档扫描OCR识别

项目:文档扫描OCR识别

一.整体流程演示

1.边缘检测

​ 下图右边是输入图像,左边是通过边缘检测后的输出图像。我们需要关注的是图片的主题而不是背景,我们需要识别到我们要检测的主题。

QQ_1721179383160

2.获取轮廓

​ 基于轮廓检测的方法,得到需要识别的物体的轮廓QQ_1721179497330

3.透视变化

​ 将文档变换,去掉所有的背景信息,平移+旋转+翻转

QQ_1721179551125

4.OCR字符识别

​ 分析图片中的字符信息,可以通过使用一些目前开源的工具包来实现。

二.文档轮廓提取实现

​ 首先我们读取输入图像:

# 读取输入
image = cv2.imread(args["image"])
#坐标也会相同变化
ratio = image.shape[0] / 500.0
orig = image.copy()
image = resize(orig, height = 500)

​ 这里的ratio是我们变换的比例,orig是对于原图的复制。然后我们将原图的复制版本传入到resize函数中,resize函数的实现细节如下:

def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
	dim = None
	(h, w) = image.shape[:2]
	if width is None and height is None:
		return image
	if width is None:
		r = height / float(h)
		dim = (int(w * r), height)
	else:
		r = width / float(w)
		dim = (width, int(h * r))
	resized = cv2.resize(image, dim, interpolation=inter)
	return resized

​ 这个函数的功能是通过我们指定的h(传入的height)来计算比例®是多少,基于比例来计算图像相应的w和h,最后通过w和h来进行resize操作,接下来就是一些常规的图像的预处理操作:

# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 75, 200)

​ 1.转成灰度图,2.高斯滤波操作去除噪声点,剔除干扰项,3.检测边缘,通过边缘检测函数。接下来可以展示一下我们边缘检测的结果:

# 展示预处理结果
print("STEP 1: 边缘检测")
cv2.imshow("Image", image)//原图
cv2.imshow("Edged", edged)//边缘检测后的图像
cv2.waitKey(0)
cv2.destroyAllWindows()

​ 展示效果如下(换了一张图片):
QQ_1721180560484

​ 边缘检测之后,我们需要对图像进行轮廓检测。代码如下:

# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]

​ 观察上图,我们知道,一个图像是有很多轮廓的,一般情况下都是一个很大的轮廓,包含着一些小轮廓。所以我们现在要做的是:1.寻找轮廓,2.对找到的轮廓依据关键字key的contourArea(面积)进行排序,得到前五个最大的轮廓。然后我们进行遍历轮廓。

# 遍历轮廓
for c in cnts:
	# 计算轮廓近似
	peri = cv2.arcLength(c, True)//长度
	# C表示输入的点集
	# epsilon表示从原始轮廓到近似轮廓的最大距离,它是一个准确度参数
	# True表示封闭的
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)

	# 4个点的时候就拿出来
	if len(approx) == 4:
		screenCnt = approx
		break

​ approxPolyDP函数是对一些不完整的轮廓点进行近似。 0.02 * peri是epsilon。默认是长度的百分之二。我们如果近似后得到了一个矩形,那我们就可以把这个轮廓给提取出来了。使用screenCnt这个变量来得到我们轮廓的边缘信息。我们对结果进行展示:

# 展示结果
print("STEP 2: 获取轮廓")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

​ 下面是我们绘图后的展示结果,绿色的部分就是我们通过近似得到的图像的边缘信息的外框:

QQ_1721181319610

三.原始与变换坐标计算

​ 接下来我们要进行一个透视变换,因为一开始的图像一般都是歪歪扭扭的,我们要通过变换,让图像变正。在图像的变换过程中,有几个点是我们必须要知道的。
image-20240717100811442

​ 我们需要知道的是上图的A,B,C,D四个点的坐标,还有我们的变换矩阵M。代码如下:

# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)

​ 第一个参数是我们原始输入的图像,第二个参数是我们上图标注的A,B,C,D这四个点的坐标,每个点都包含(x,y)这两个维度。所以是4*2,这里为啥要 * ratio这个比例呢?因为我们的边缘信息是在resize之后的图像上得到的,但是我们的orig是原图,所以我们需要将这A,B,C,D四个点再还原回原图上去。接下来我们再去看看这个透视变换具体是怎么做的吧

def four_point_transform(image, pts):
	# 获取输入坐标点
	rect = order_points(pts)
	(tl, tr, br, bl) = rect
	# 计算输入的w和h值
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))
	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))
	# 变换后对应坐标位置
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")
	# 计算变换矩阵
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
	# 返回变换后结果
	return warped

​ 输入的pts是我们的传入的A,B,C,D四个坐标,代码中的tl,tr,br,bl这四个变量是这四个坐标的解析。接下来我们需要计算h和w,这样就可以计算得到我们上图中的E,F,G,H这四个坐标啦!h和w的计算方法如下:因为并不能保证是矩阵,所以这里采取的是一个近似的计算方法,即:计算方法为根号下x的平方+y的平方。如果是标准的矩形,那么有x和y其中有一个值必为0。我们再去两组计算结果中最大值作为我们的h或者w即可。有了我们输入的四个点A,B,C,D,和我们输入的四个点E,F,G,H,我们就可以去算我们的变换矩阵M了。因为涉及到投影,这个矩阵是一个3*3的矩阵。这个矩阵我们是通过使用opencv的内置函数getPerspective接口来计算的,这个函数的计算原理是什么呢,这里可以简单说明一下:

QQ_1721185535507

​ 最后,通过我们得到的变换矩阵M,对输入图像施加上,让输入图像上的所有点都进行变换,最后得到变换后的图像进行返回即可。变换完成后,我们再对变换后的图像进行了一次二值化处理:

# 二值处理
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
cv2.imwrite('scan.jpg', ref)

​ 为了显示的更清晰,进行了灰度化和二值化。最后得到展示图像:

# 展示结果
print("STEP 3: 变换")
cv2.imshow("Original", resize(orig, height = 650))
cv2.imshow("Scanned", resize(ref, height = 650))
cv2.waitKey(0)

QQ_1721186071090

四.tesseract-ocr安装配置

​ 当我们得到一个扫描结果时,如果进行字符识别。这里使用的是一个开源的库叫做tesseract,默认只支持英文,如果需要中文需要自己去官网下载相关的包进行训练。这个包的github网站为:GitHub - tesseract-ocr/tesseract: Tesseract Open Source OCR Engine (main repository)
QQ_1721203519980
我们需要下载的文件(windows的)的网站在:Index of /tesseract (uni-mannheim.de),接下来将演示下如何安装,我们进入网站,这里我选择的是目前最新版本的进行安装:
QQ_1721198050043

​ 需要记住这个安装路径:
QQ_1721198214576

​ 安装完成后需要进行环境变量的配置,要记得用户的环境变量和系统的环境变量都需要添加!!!
QQ_1721198440428

QQ_1721198505126

​ 配置完毕后,我们就可以使用cmd来检验下这个包是不是好用的;此时我们在控制台上键入tesseract -v,如果可以正确显示版本信息,则说明我们安装成功了。QQ_1721198645007

​ 此时我们可以直接在控制台上测试下这个包的效果如何,我们将下面这张图放到D盘并命名为opencv.png,并将我们的控制台的目录切换到D盘:
opencv

​ 我们输入,tesseract opencv.png result,输入这条指令后,tesseract就会将我们的识别结果保存到名为result的文本文件中。
QQ_1721199121670

​ 指令运行结束,我们在D盘打开result.txt文件,发现识别结果已经被保存下来了,而且识别的非常正确。

​ 我们平时更多的是使用python程序来做,如果需要使用我们的python来使用这个包的话,还需要在你的annconda相关的环境中安装pip install pytesseract这个包才可以。这里我们也是成功的安装上了。
QQ_1721199546392

五.文档扫描识别效果

​ 如果你安装好了上面的pytesseract但还是用不了的话,这里是windows环境上面的一个坑,需要你去Python的安装路径下去解决,我这里使用的是annconda,所以直接去annoconda的安装路径,路径为:D:\anaconda3\envs\jiahaopytorch\Lib\site-packages\pytesseract,找到这个路径下的pytesseract.py文件,打开并进行编辑,需要把下图中标红的这一行修改成全局路径,如果pytesseract这个包可以正常使用的这里不用管。
QQ_1721199936856

​ 修改后:
QQ_1721200125864

​ 注意这里不要再去使用window的路径分隔方式了,容易让计算机识别时产生歧义,这里我们采用的是Linux的路径分隔方式。这里修改完毕之后,我们就可以进入我们的pytorch进行代码编写了。接下来的代码是我们的OCR识别的代码:

preprocess = 'blur' #thresh
image = cv2.imread('scan.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
if preprocess == "thresh":
    gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
if preprocess == "blur":
    gray = cv2.medianBlur(gray, 3)

​ 我们将之前处理好的图片读取进来,转换成一张灰度图,然后我们可以通过指定preprocess的值来进行一些滤波操作或者二值化操作。然后调用我们安装的包提供的接口即可:

text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)

​ 最后我们来看一下识别的效果,我们的输入图像为下图时:
QQ_1721200690127

​ 程序的运行结果如下:
QQ_1721200760353

​ 可以看出,识别效果还是不错的。我们再试一次下面这个张图:
QQ_1721200821999

​ 程序的运行结果如下:
QQ_1721200922235

​ 可以看到,识别率还是比较精准的。这里可能有人想知道支持不支持识别中文,我这里也是在网上找了一张中文的发票,见下图:
view2

​ 将之前讲过的边缘检测,获取轮廓,变换这三个流程全部走一遍:

QQ_1721202765051

QQ_1721202676550

QQ_1721202689197

​ 最后送入我们安装的包中进行OCR扫描:
QQ_1721202804835

​ 很可惜,当前并不支持中文。

六.完整代码

1.预处理相关代码

# 导入工具包
import numpy as np
import argparse
import cv2
# 设置参数
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True,
	help = "Path to the image to be scanned") 
args = vars(ap.parse_args())
def order_points(pts):
	# 一共4个坐标点
	rect = np.zeros((4, 2), dtype = "float32")
	# 按顺序找到对应坐标0123分别是 左上,右上,右下,左下
	# 计算左上,右下
	s = pts.sum(axis = 1)
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]
	# 计算右上和左下
	diff = np.diff(pts, axis = 1)
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]
	return rect
def four_point_transform(image, pts):
	# 获取输入坐标点
	rect = order_points(pts)
	(tl, tr, br, bl) = rect
	# 计算输入的w和h值
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))
	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))
	# 变换后对应坐标位置
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")
	# 计算变换矩阵
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
	# 返回变换后结果
	return warped
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
	dim = None
	(h, w) = image.shape[:2]
	if width is None and height is None:
		return image
	if width is None:
		r = height / float(h)
		dim = (int(w * r), height)
	else:
		r = width / float(w)
		dim = (width, int(h * r))
	resized = cv2.resize(image, dim, interpolation=inter)
	return resized
# 读取输入
image = cv2.imread(args["image"])
#坐标也会相同变化
ratio = image.shape[0] / 500.0
orig = image.copy()
image = resize(orig, height = 500)
# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 75, 200)
# 展示预处理结果
print("STEP 1: 边缘检测")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
# 遍历轮廓
for c in cnts:
	# 计算轮廓近似
	peri = cv2.arcLength(c, True)
	# C表示输入的点集
	# epsilon表示从原始轮廓到近似轮廓的最大距离,它是一个准确度参数
	# True表示封闭的
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)
	# 4个点的时候就拿出来
	if len(approx) == 4:
		screenCnt = approx
		break
# 展示结果
print("STEP 2: 获取轮廓")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
# 二值处理
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
cv2.imwrite('scan.jpg', ref)
# 展示结果
print("STEP 3: 变换")
cv2.imshow("Original", resize(orig, height = 650))
cv2.imshow("Scanned", resize(ref, height = 650))
cv2.waitKey(0)

2.OCR相关代码

# https://digi.bib.uni-mannheim.de/tesseract/
# 配置环境变量如E:\Program Files (x86)\Tesseract-OCR
# tesseract -v进行测试
# tesseract XXX.png 得到结果 
# pip install pytesseract
# anaconda lib site-packges pytesseract pytesseract.py
# tesseract_cmd 修改为绝对路径即可
from PIL import Image
import pytesseract
import cv2
import os
preprocess = 'blur' #thresh
image = cv2.imread('scan.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
if preprocess == "thresh":
    gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
if preprocess == "blur":
    gray = cv2.medianBlur(gray, 3)
filename = "{}.png".format(os.getpid())
cv2.imwrite(filename, gray)
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)
cv2.imshow("Image", image)
cv2.imshow("Output", gray)
cv2.waitKey(0)                                   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Li小李同学Li

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值