前言
在现代计算机视觉应用中，OCR（光学字符识别）技术已经变得非常普及。通过OCR技术，我们可以从图像中提取文本信息，并将其转换为可编辑的文本格式。本文将介绍如何使用OpenCV库和OCR技术实现摄像头OCR，即实时从摄像头捕捉的图像中识别文字。
一、所需工具和库
- OpenCV：一个开源的计算机视觉库，提供了丰富的图像处理和分析功能。
- Tesseract：一个开源的OCR引擎，能够识别多种语言的文本。
二、安装依赖
首先，我们需要安装OpenCV和pytesseract库。可以使用pip命令进行安装：
pip install opencv-python
pip install pytesseract三、实现步骤
-
打开摄像头
使用OpenCV库可以很方便地捕获摄像头的视频流。以下代码展示了如何打开摄像头并读取视频流：
import cv2
cap = cv2.VideoCapture(0) # 使用默认摄像头
if not cap.isOpened():
print("Cannot open camera")
exit()2.图像预处理
在进行OCR之前，需要对图像进行预处理，以提高OCR的准确性。常见的预处理操作包括灰度化、二值化、降噪、膨胀/腐蚀等。以下是一个示例代码，展示如何进行灰度化和二值化操作：
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 灰度化
_, binary = cv2.threshold(gray, 150, 255, cv2.THRESH_BINARY_INV) # 二值化3.文本定位
在进行OCR之前，需要定位图像中的文本区域。可以使用OpenCV的一些算法来实现文本定位。例如，使用MSER算法可以检测图像中的文本区域：
import cv2
import pytesseract
from PIL import Image
# 设置Tesseract的路径
pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe' # 根据你的Tesseract安装路径进行修改
# 读取图像
img = cv2.imread('test.jpg')
# 转换为灰度图像
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 使用MSER算法检测文本区域
mser = cv2.ximgproc.segmentation.createMSER().detectRegions(gray)
# 遍历所有检测到的区域
for i in range(len(mser)):
# 获取区域的边界框
x, y, w, h = mser[i].boundingRect()
# 在原图上绘制边界框
cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 1)
# 显示图像
cv2.imshow('img', img)
cv2.waitKey(0)
cv2.destroyAllWindows()OCR识别
最后，使用OCR库对定位到的文本区域进行字符识别。可以使用Tesseract OCR引擎进行识别：
# 对定位到的文本区域进行OCR识别
text = pytesseract.image_to_string(binary, lang='eng')完整代码
示例：
import numpy as np
import cv2
def cv_show(name, img):
cv2.imshow(name, img)
# cv2.waitKey(60)
def order_points(pts): # 对输入的四个点按照左上、右上、右下、左下进行排序
rect = np.zeros((4, 2), dtype='float32') # 创建一个4*2的数组，用来存储排序之后的坐标位置
# 按顺序找到对应坐标0123分别是左上、右上、右下、左下
s = pts.sum(axis=1) # 对pts矩阵的每个点的x y相加
rect[0] = pts[np.argmin(s)] # np.argmin(s)表示数组s中最小值的索引，表示左上的点的坐标
rect[2] = pts[np.argmax(s)] # 返回最大值索引，即右下角的点坐标
diff = np.diff(pts, axis=1) # 对pts矩阵的每一行的点求差值
rect[1] = pts[np.argmin(diff)] # 差值最小的点为右上角点
rect[3] = pts[np.argmax(diff)] # 差值最大表示左下角点
return rect # 返回排序好的四个点的坐标
# 将透视扭曲的矩形变换成一个规则的矩阵
def four_point_transform(image, pts):
# 获取输入坐标点
rect = order_points(pts) # 为上述排序的四个点
(tl, tr, br, bl) = rect # 分别返回给四个值，分别表示为左上、右上、右下、左下
# 计算输入的w和h值
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2)) # 计算四边形底边的宽度
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2)) # 计算顶边的宽度
maxWidth = max(int(widthA), int(widthB)) # 返回最大宽度
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2)) # 计算左上角到右下角的对角线长度
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2)) # 计算右上角到左下角的高的长度
maxHeight = max(int(heightA), int(heightB)) # 返回最长的高度
# 变换后对应坐标位置
dst = np.array([[0, 0], # 定义四个点，表示变换后的矩阵的角点
[maxWidth - 1, 0],
[maxWidth - 1, maxHeight - 1],
[0, maxHeight - 1]], dtype='float32')
# 图像透视变换 cv2.getPerspectiveTransform(src,dst[,solveMethod])→ M获得转换之间的关系
# cv2.warpPerspective(src, Mp, dsizel, dstl, flagsl, borderModel, borderValue]]1])- dst
# #参数说明:
# src:变换前图像四边形顶点坐标/第2个是原图
# MP:透视变换矩阵，3行3列
# dsize:输出图像的大小，二元元组(width，heiqht)
M = cv2.getPerspectiveTransform(rect, dst) # 根据原始点和变换后的点计算透视变换矩阵M
warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight)) # 对原始图像，针推变换矩阵和输出图像大小进行透视变换，返回变换后的图片
# 返回变换后的结果
return warped
# 调整图像高宽，保持图像宽高比不变
def resize(image, width=None, height=None, inter=cv2.INTER_AREA): # 输入参数为图像、可选宽度、可选高度、插值方式默认为cv2.INTER_AREA,即面积插值
dim = None # 存储计算后的目标尺寸w、h
(h, w) = image.shape[:2] # 返回输入图像高宽
if width is None and height is None: # 判断是否指定了宽和高大小，如果没有指定则返回原图
return image
if width is None: # 判断如果没有指定宽度大小，则表示指定了高度大小，那么运行内部代码
r = height / float(h) # 指定高度与原图高度的比值
dim = (int(w * r), height) # 宽度乘以比值得到新的宽度，此处得到新的宽高
else: # 此处表示为width不是None，即指定了宽度，与上述方法一致，计算比值
r = width / float(w)
dim = (width, int(h * r))
resized = cv2.resize(image, dim, interpolation=inter) # 指定图像大小为上述的dim，inter默认为cV2.INTER_AREA，即面积插值，适用于缩放图像。
return resized
import cv2
cap = cv2.VideoCapture(0) # 确保摄像头是可以启动的状态
if not cap.isOpened(): # 打开失败
print("Cannot open camera")
exit()
while True:
flag = 0 # 用于标识 当前是否检测到文档
ret, image = cap.read() # 如果正确读取帧，ret为True
orig = image.copy()
if not ret: # 读取失败，则退出循环
print("不能读取摄像头")
break
cv_show("image", image)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 图像处理-转换为灰度图# 预处理
gray = cv2.GaussianBlur(gray, (5, 5), 0) # 高斯滤波
edged = cv2.Canny(gray, 75, 200)
cv_show('1', edged)
# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:3]
image_contours = cv2.drawContours(image, cnts, -1, (0, 255, 0), 2)
cv_show("image_contours", image_contours)
k = cv2.waitKey(60)
if k==27:
break
for c in cnts:
# 计算轮廓近似
peri = cv2.arcLength(c, True) # 计算轮廓的周长
# C表示输入的点集
# epsilon表示从原始轮廓到近似轮的最大距离，它是一个准确度参数
# True表不封团的
approx = cv2.approxPolyDP(c, 0.05 * peri, True) # 轮廓近似
area = cv2.contourArea(approx) # 4个点的时候就拿出来
if area > 20000 and len(approx) == 4: # 20000
screenCnt = approx
flag = 1
print(peri, area)
print('检测到文档')
break
if flag == 1:
# 展示结果
# print("STEP 2:获取轮廓")
image_contours = cv2.drawContours(image, [screenCnt], 0, (0, 255, 0), 2)
cv_show("image", image_contours)
# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2))
cv_show("warped", warped)
# 三值处理
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 220, 255, cv2.THRESH_BINARY)[1]
# ref = cv2.threshold(warped,0,255,CV2.THRESH_BINARY | CV2.THRESH_OTSU)[1]
cv_show("ref", ref)
cap.release() # 释放捕获器
cv2.destroyAllWindows() # 关闭图像窗日
四、注意事项
- 文本定位：在实际应用中，应使用更精确的文本定位算法，如基于深度学习的方法，以提高OCR的准确性。
- 参数调整：OCR的识别效果受多种因素影响，如图像质量、光照条件、字体大小等。因此，在实际应用中，需要根据具体情况调整预处理参数和OCR识别参数。
- 实时性：由于摄像头OCR需要实时处理图像，因此算法的效率至关重要。在实际应用中，应优化算法以提高实时性。
五、总结
本文介绍了如何使用OpenCV和Tesseract实现摄像头OCR。通过合理的预处理和参数调整，可以提高OCR的准确性。摄像头OCR技术可以应用于各种场景，如扫描身份证、识别车牌号、读取条形码等，具有广泛的应用前景。
扫一扫
646
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
