【OpenCV-Python实战项目】01-OCR文本检测

0.介绍

（1）Tesseract是一个开源文本识别 (OCR)引擎，是目前公认最优秀、最精确的开源OCR系统，用于识别图片中的文字并将其转换为可编辑的文本。
（2）安装Tesseract:
（3）python中安装pytesseract（用于调用Tesseract并返回结果）

1.基础功能实现

默认图像读取如下，后续将在此基础上展开检测。

import cv2
import pytesseract

pytesseract.pytesseract.tesseract_cmd=r'C:\Program Files (x86)\Tesseract-OCR\tesseract.exe'
img=cv2.imread('data/1.jpg')
img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
hImg,wImg,_=img.shape

1.1 字符检测

字符检测主要用到：boxes=pytesseract.image_to_boxes(img)
返回如下，注意用boxes的坐标系统是以图像左下角为原点，而OpenCV则是以图像左上角为原点坐标，不然会影响后续利用opencv绘制检测框以及添加文本。

M 61 257 129 320 0
u 144 256 182 303 0
r 196 257 222 305 0
注：从左到右依次是检测的字符（M)，（61，257）表示M的左上角坐标，（129，320）表示M的右下角坐标

# 1.字符检测
def detectChar(img,draw=True):
    boxes=pytesseract.image_to_boxes(img)
    for b in boxes.splitlines():
        b=b.split(" ")				  #在每一行中分割,示意['M','61','257','129','320','0']
        x,y,w,h=int(b[1]),int(b[2]),int(b[3]),int(b[4])		    # x,y为boxes左上角'坐标，（w,h)为右下角坐标
        cv2.rectangle(img,(x,hImg-y),(w,hImg-h),(0,0,255),1)	# 这里绘制需要考虑两个坐标原点不同的影响
        # 将字符放在检测框下面
        cv2.putText(img,b[0],(x,hImg-y+25),cv2.FONT_HERSHEY_SIMPLEX,0.5,(50,50,255),2)
        # 绘制检测结果
    if draw:
        cv2.imshow('Result',img)
        key=cv2.waitKey(0)
        if key==ord('q'):
            cv2.destroyAllWindows()
      
detectChar(img)# 调用

                                                        **效果显示**

1.2 单词检测

**（1）用法说明：**检测单词:boxes=pytesseract.image_to_data（img),返回值如下，注意与上述字符检测pytesseract.image_to_boxes区分，此外需要注意返回的坐标值跟上述不太一样cv2.rectangle(img,(x,y),(x+w,y+h),(0,0,255),1)，这里似乎又跟opencv定义的坐标原点一致了。

level page_num block_num par_num line_num word_num left top width height conf text
1 1 0 0 0 0 0 0 914 368 -1
2 1 1 0 0 0 61 43 822 158 -1
3 1 1 1 0 0 61 43 822 158 -1
4 1 1 1 1 0 61 43 822 86 -1
5 1 1 1 1 1 61 43 386 69 89 Murtaza’s
5 1 1 1 1 2 476 44 407 85 91 Workshop
4 1 1 1 2 0 258 155 350 46 -1
5 1 1 1 2 1 258 155 224 46 89 Robotics
5 1 1 1 2 2 502 155 39 46 87 &
5 1 1 1 2 3 560 158 48 42 90 AI
2 1 2 0 0 0 28 289 852 44 -1
3 1 2 1 0 0 28 289 852 44 -1
4 1 2 1 1 0 28 289 852 44 -1
5 1 2 1 1 1 28 289 852 44 90 12345678910111213141

（2）完整代码：

def detectWord(img,draw=True):
    boxes=pytesseract.image_to_data(img)
    # print(boxes)
    for a,b in enumerate(boxes.splitlines()):
        # print(b)
        if a!=0:#从标题下一行开始打印
            b=b.split()
            if len(b)==12:# 若按照空格分割每行，有字符的长度一定是12
                # print(b)
                x,y,w,h=int(b[6]),int(b[7]),int(b[8]),int(b[9])#同理
                # cv2.rectangle:长方形框左上角坐标，右下角坐标
                cv2.rectangle(img,(x,y),(x+w,y+h),(0,0,255),1)# 又是坐标注意问题,注意跟image_to_boxes区分
            # 将字符放在下面
                cv2.putText(img,b[11],(x,y-5),cv2.FONT_HERSHEY_COMPLEX,1,(50,50,255),2)
    if draw:
        cv2.imshow('Result',img)
        key=cv2.waitKey(0)
        if key==ord('q'):

            cv2.destroyAllWindows()

                                                       **单词检测效果显示**

1.3 只检测数字

检测数字跟检测字符类似，只是需要在boxes=pytesseract.image_to_boxes(img,config=conf)增加conf参数限制，使用说明见3.参考（4）

def detectDigital(img):
    conf=r'--oem 3 --psm 6 outputbase digits'
    boxes=pytesseract.image_to_boxes(img,config=conf)
    for b in boxes.splitlines():
        print(b)
        b=b.split(" ")
        x,y,w,h=int(b[1]),int(b[2]),int(b[3]),int(b[4])
        cv2.rectangle(img,(x,hImg-y),(w,hImg-h),(0,0,255),1)# 又是坐标注意问题
        cv2.putText(img,b[0],(x,hImg-y+25),cv2.FONT_HERSHEY_SIMPLEX,1,(50,50,255),2)
    cv2.imshow('Result',img)
    key=cv2.waitKey(0)
    if key==ord('q'):

        cv2.destroyAllWindows()

2.工程应用

2.1 封装类

import cv2
import pytesseract

pytesseract.pytesseract.tesseract_cmd=r'C:\Program Files (x86)\Tesseract-OCR\tesseract.exe'
class textOCR():
    def __init__(self):
        pass

    #1.字符检测:注意坐标问题
    def findChar(self,img,draw=True):
        boxes=pytesseract.image_to_boxes(img)# 注意这个输出是以图像左下角为原点，而opencv是左上角
        for b in boxes.splitlines():
            b=b.split(" ")
            x,y,w,h=int(b[1]),int(b[2]),int(b[3]),int(b[4])# x,y为boxes左上角坐标，（w,h)为右下角坐标
            cv2.rectangle(img,(x,hImg-y),(w,hImg-h),(0,0,255),1)
            # 将字符放在下面
            cv2.putText(img,b[0],(x,hImg-y+25),cv2.FONT_HERSHEY_SIMPLEX,0.5,(50,50,255),2)
        
        if draw:
            cv2.imshow('Result',img)
            key=cv2.waitKey(0)
            if key==ord('q'):
                cv2.destroyAllWindows()
        return boxes
    

2.2 屏幕截图识别

**（1）用法说明：**这里说的屏幕结果识别是指利用PIL库对当前电脑界面的进行截图并识别。这里仅用到封装类代码，与基础中的代码无关。
（2）代码：

import numpy as np
from PIL import ImageGrab
# 屏幕截图函数
def captureScreen(bbox=(300,300,1500,1000)):
	# bbox分别表示当前截取范围（坐标原点为屏幕左上角）
    capScr = np.array(ImageGrab.grab(bbox))

    capScr = cv2.cvtColor(capScr, cv2.COLOR_RGB2BGR)
    return capScr
    #接下来调用上述基础功能代码函数即可
OCR=textOCR()
img = captureScreen()#捕获当前图像
bbox=OCR.findChar(img)

（3）效果：

2.3 视频文本检测（待优化）

**（1）用法说明：**实时视频文本识别检测，但是有问题，延迟卡顿，且识别不出（正在优化）
（2）代码：

import time

def detectVideo():
    cap=cv2.VideoCapture(0)
    # cap.set(3,640)
    # cap.set(4,480)
    cTime=0
    pTime=0

    OCR=textOCR()

    while True:
        timer = cv2.getTickCount()
        _,img = cap.read()

    #     #DETECTING CHARACTERES
        hImg, wImg,_ = img.shape

        boxes=OCR.findChar(img,draw=False)
        for b in boxes.splitlines():
            b=b.split(" ")
            x,y,w,h=int(b[1]),int(b[2]),int(b[3]),int(b[4])# x,y为boxes左上角坐标，（w,h)为右下角坐标
            cv2.rectangle(img,(x,hImg-y),(w,hImg-h),(0,0,255),1)
            # 将字符放在下面
            #cv2.putText(img,b[0],(x,hImg-y+25),cv2.FONT_HERSHEY_SIMPLEX,0.5,(50,50,255),2)

        cTime=time.time()
        fps=1/(cTime-pTime)
        pTime=cTime
        cv2.putText(img,str(int(fps)),(10,70),cv2.FONT_HERSHEY_PLAIN,3,(255,0,255),3)
        cv2.imshow('Image',img)
        key=cv2.waitKey(1)
        if key==ord('q'):
            break
    cv2.destroyAllWindows()

detectVideo()

3.参考

（1）B站视频-01-OCR文本检测视频教程
（2）gitee代码仓库
（3）教程源地址cv zone（1）（2）均来自此正式教程。
（4）Python OCR工具pytesseract详解