项目实战（二）文档扫描OCR识别个人学习笔记（初学超详细注释）

菜鸟一号0.0

已于 2023-05-25 11:09:46 修改

阅读量235

点赞数

文章标签： ocr 学习笔记

于 2023-05-16 17:08:53 首次发布

本文链接：https://blog.csdn.net/qq_57030255/article/details/130682066

版权

初次学习此项目实战，偏向初学小白使用。

scan.py

依然先梳理代码逻辑：

1. 导入相关库并设置参数

2. 读取图像并进行预处理

3. 检测并绘制轮廓

4. 透视变换调整图像

5. 处理最后结果

1.导入相关库并设置参数

这一步在之前项目实战（一）信用卡数字识别中作出介绍，

代码如下：

# 导入工具包
import numpy as np
import argparse
import cv2

# 设置参数
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True,
	help = "Path to the image to be scanned") 
args = vars(ap.parse_args())

2. 读取图像并进行预处理

对原图进行复制，（因为后续绘制边缘、轮廓会直接改变图像）。先进行灰度处理，再对灰度图进行高斯滤波，模糊化以消除噪声，对滤波后的图像使用Canny算子进行边缘计算。代码如下：

# 读取输入
image = cv2.imread(args["image"])
#坐标也会相同变化
ratio = image.shape[0] / 500.0  #后续透视变换会用到，这里500是和resize中的500一致
orig = image.copy()

image = resize(orig, height = 500)

# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
#高斯滤波，模糊化以去除噪点
gray = cv2.GaussianBlur(gray, (5, 5), 0)
#算出边缘
edged = cv2.Canny(gray, 75, 200)

# 展示预处理结果
print("STEP 1: 边缘检测")
cv2.imshow("Image", gray)
cv2.imshow("Edged", edged)
cv2.waitKey(0)
cv2.destroyAllWindows()

3. 检测并绘制轮廓

找到所有轮廓，并按面积大小将各轮廓排序后存入列表cnts中，在循环中将轮廓近似为多边形，近似的多边形会用其自身的顶点表示，挑出顶点数量为4的多边形作为文本图像的轮廓。代码如下：

# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
#按轮廓面积大小排列各个cnt
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]

# 遍历轮廓
for c in cnts:
	# 计算轮廓周长
	peri = cv2.arcLength(c, True)

	#cv2.approxPolyDP以指定的精度近似生成多边形曲线
	# C表示输入的点集
	# epsilon表示从原始轮廓到近似轮廓的最大距离，它是一个准确度参数
	# True表示封闭的
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)

	# 4个点的时候就拿出来
	if len(approx) == 4:
		screenCnt = approx
		break

# 展示结果
print("STEP 2: 获取轮廓")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

4. 透视变换

透视变换的目的是将图像中歪着的文本正过来。

为此，定义了两个函数：order_points，four_point_transform

order_points是将轮廓的4个点按照“左上、右上、右下、左下”这样顺时针的顺序存入数组中。

#传入的是轮廓的四个顶点pts
def order_points(pts):
	# 一共4个坐标点
	rect = np.zeros((4, 2), dtype = "float32")
	print("pts :\n ", pts)

	# 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
	# 计算左上，右下
	s = pts.sum(axis = 1)  #将每一行的值相加，若axis=0就是将每一列的值相加
	print("s : \n", s)
	#np.argmin和np.argmax分别得到s中所有元素最小值和最大值所对应的索引（下标）
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]

	# 计算右上和左下
	diff = np.diff(pts, axis = 1)#将每一行的值作差，后面的减前面的
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]

	return rect

four_point_transform 用于进行修正：

先计算出修正前的图像的最宽处值Wmax和最高处的值Hmax；

然后，根据Wmax和Hmax设计一个变换后的对应位置的四个顶点的坐标，存放到数组dst中；

最后，用cv2.getPerspectiveTransform计算坐标转换的所用的所有转换矩阵，

根据转换矩阵用cv2.warpPerspective计算转换后的图像。函数详解点击此处

four_point_transform：

def four_point_transform(image, pts):
	# 获取输入坐标点
	rect = order_points(pts)
	(tl, tr, br, bl) = rect

	# 计算输入的w和h值
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))

	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))

	# 变换后对应坐标位置
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")

	# 计算变换矩阵
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))

	# 返回变换后结果
	return warped

图像转换的主要实现函数如下：上面代码创建的ratio，用在此处。

# 透视变换， 让整个框里面的对象铺满整个图片，其余的地方去掉
# orig传入的是原始图片(resize之前的那个copy的), reshape之后的大轮廓坐标点乘以ratio
# resize之后，原始图片的每个点的坐标都相对于原来点的坐标变了，因此，需要乘以这个ratio，才是在原始图片orig里面的坐标值
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)

5. 处理最后结果

将结果灰度化，再二值化，最后输出显示。

# 二值处理
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
cv2.imwrite('scan.jpg', ref)
# 展示结果
print("STEP 3: 变换")
cv2.imshow("Original", resize(orig, height = 650))
cv2.imshow("Scanned", resize(ref, height = 650))
cv2.waitKey(0)

至此，scan.py脚本得到了一个矫正后的二值图。