# 如何使用OpenCV进行发票的透视变换和二值化处理

如何使用OpenCV进行发票的透视变换和二值化处理

引言

在自动化处理发票和其他文档时,图像预处理是一个关键步骤,它可以帮助提高OCR(光学字符识别)的准确性。透视变换用于校正图像中的透视失真,而二值化处理则可以简化图像,使其更适合OCR处理。本文将介绍如何使用OpenCV库进行这些操作。

环境准备

确保您的环境中安装了OpenCV库。如果尚未安装,可以通过以下命令安装:

pip install opencv-python

代码实现

以下是完整的代码实现,包括图像读取、透视变换、二值化处理和显示结果。

import numpy as np
import cv2

def cv_show(name, img):
    """简单的图像显示函数,用于显示图像窗口,参数name为窗口名称,img为要显示的图像"""
    cv2.imshow(name, img)
    cv2.waitKey(0)

def order_points(pts):
    """对四个点进行排序,以便于进行透视变换
    参数pts为四个检测到的点的坐标
    返回值rect为排序后的点的坐标"""
    rect = np.zeros((4, 2), dtype="float32")
    s = pts.sum(axis=1)  # 对pts矩阵的每一行进行求和操作(x+y)
    rect[0] = pts[np.argmin(s)]  # 选择坐标和最小的点为左上角
    rect[2] = pts[np.argmax(s)]  # 选择坐标和最大的点为右下角
    diff = np.diff(pts, axis=1)  # 对pts矩阵的每一行进行求差操作(y-x)
    rect[1] = pts[np.argmin(diff)]  # 选择差异最小的点为右上角
    rect[3] = pts[np.argmax(diff)]  # 选择差异最大的点为左下角
    return rect

def four_point_transform(image, pts):
    """根据四个点进行透视变换
    参数image为原始图像,pts为四个检测到的点的坐标
    返回值warped为变换后的图像"""
    rect = order_points(pts)
    (tl, tr, br, bl) = rect
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))
    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))
    dst = np.array([[0, 0], [maxWidth - 1, 0],
                    [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    return warped

def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    """调整图像大小
    参数image为原始图像,width和height为调整后的宽度和高度,inter为插值方法
    返回值resized为调整大小后的图像"""
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized

# 读取输入图像
image = cv2.imread('fapiao.jpg')
cv_show('image', image)

# 图片过大,进行缩小处理
ratio = image.shape[0] / 500.0  # 计算缩小比率
orig = image.copy()
image = resize(orig, height=500)  # 缩小图像
cv_show('1', image)

print('STEP 1: 轮廓检测')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)  # 转换为灰度图
edged = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]  # 二值化
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[-2]
image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 0, 255), 1)
cv_show("image_contours", image_contours)

print("STEP 2:获取最大轮廓")
screenCnt = sorted(cnts, key=cv2.contourArea, reverse=True)[0]  # 获取面积最大的轮廓
peri = cv2.arcLength(screenCnt, True)  # 计算轮廓周长
screenCnt = cv2.approxPolyDP(screenCnt, 0.05 * peri, True)  # 轮廓近似
print(screenCnt.shape)
image_contours = cv2.drawContours(image.copy(), [screenCnt], -1, (0, 255, 0), 2)
cv_show("image_contours", image_contours)
cv2.waitKey(0)

# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite('invoice_new.jpg', warped)
cv2.namedWindow('xx', cv2.WINDOW_NORMAL)
cv2.imshow("xx", warped)
cv2.waitKey(0)

# 二值处理
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('ref', ref)

kernel = np.ones((2, 2), np.uint8)  # 设置kernel大小
ref_new = cv2.morphologyEx(ref, cv2.MORPH_CLOSE, kernel)  # 闭运算
ref_new = resize(ref_new.copy(), width=500)
cv_show('ref_new', ref_new)
rotated_image = cv2.rotate(ref_new, cv2.ROTATE_90_COUNTERCLOCKWISE)
cv2.imshow("result", rotated_image)
cv2.waitKey(0)

运行结果

在这里插入图片描述
在这里插入图片描述

步骤解析

  1. 图像读取和缩小处理:首先读取图像,并根据需要进行缩小处理。
  2. 轮廓检测:将图像转换为灰度图,然后进行二值化处理,最后检测轮廓。
  3. 获取最大轮廓:从检测到的轮廓中找到面积最大的轮廓,并进行多边形近似。
  4. 透视变换:对原始图像进行透视变换,以消除透视失真。
  5. 二值化处理:对变换后的图像进行二值化处理,并进行形态学操作以去除噪声。
  6. 旋转处理:根据需要对图像进行旋转处理。

结论

通过这篇文章,您学会了如何使用OpenCV进行发票的透视变换和二值化处理。这些步骤对于自动化处理发票和其他文档非常重要,可以显著提高OCR的准确性。希望这篇文章对您有所帮助!如果您有任何问题或建议,请在评论区留言。

### 使用OpenCV实现发票图像处理与文字识别 #### 加载并预览原始发票图像 为了开始处理发票图像,首先需要加载图像文件,并将其展示出来以便确认读取成功。 ```python import cv2 # 读取输入图像 image = cv2.imread('fapiao.jpg') cv2.imshow('Original Image', image) cv2.waitKey(0) cv2.destroyAllWindows() ``` 此部分操作确保能够正确访问待处理发票图片[^1]。 #### 缩小图像尺寸 考虑到计算效率,在不影响最终效果的前提下适当减小图像规模是有益处的。这一步骤有助于加速后续处理过程而不损失太多细节信息。 ```python resized_image = cv2.resize(image, None, fx=0.5, fy=0.5, interpolation=cv2.INTER_AREA) cv2.imshow('Resized Image', resized_image) cv2.waitKey(0) cv2.destroyAllWindows() ``` 这里采用双线性插值法(`INTER_AREA`)对原图进行了缩放处理#### 应用滤波器去除噪声 为进一步提升OCR(光学字符识别)的效果,可以利用高斯模糊或双边过滤器来减少不必要的干扰因素,使文本区域更为突出。 ```python gray_image = cv2.cvtColor(resized_image, cv2.COLOR_BGR2GRAY) gaussian_blurred = cv2.GaussianBlur(gray_image, (5, 5), 0) bilateral_filtered = cv2.bilateralFilter(gray_image, 9, 75, 75) cv2.imshow('Gaussian Blurred Image', gaussian_blurred) cv2.imshow('Bilateral Filtered Image', bilateral_filtered) cv2.waitKey(0) cv2.destroyAllWindows() ``` 上述代码展示了两种不同的降噪方法——高斯平滑双边滤波的应用方式[^3]。 #### 执行形态学变换改善结构特征 对于某些特定类型的文档扫描件来说,可能还需要借助开闭运算等手段调整其内部连通域特性,从而更好地分离前景对象与背景。 ```python kernel = np.ones((2, 2), dtype=np.uint8) morph_closing = cv2.morphologyEx(bilateral_filtered, cv2.MORPH_CLOSE, kernel) cv2.imshow('Morphological Closing Result', morph_closing) cv2.waitKey(0) cv2.destroyAllWindows() ``` 这段程序实现了闭合运算,即先执行膨胀再做腐蚀的操作序列,目的是填充细小孔洞并连接相邻组件[^4]。 #### 实施透视变换校正视角偏差 当拍摄角度不理想时,可能会造成所获取到的画面存在一定程度上的变形现象;此时则可通过寻找四个角点坐标进而构建仿射矩阵完成矫正作业。 ```python pts1 = np.float32([[x1,y1], [x2,y2], [x3,y3], [x4,y4]]) # 原始四点位置 pts2 = np.float32([[0, 0], [w, 0], [0, h], [w, h]]) # 目标矩形框顶点集合 matrix = cv2.getPerspectiveTransform(pts1, pts2) warped = cv2.warpPerspective(morph_closing, matrix, (w,h)) cv2.imshow('Warped Perspective View', warped) cv2.waitKey(0) cv2.destroyAllWindows() ``` 注意:实际应用中需根据具体情况手动标注出四个关键定位点的位置参数(xn,yn),同时设定好期望输出的目标宽度(w)及高度(h)。 #### 文字提取阶段 最后便是调用Tesseract OCR引擎解析经过前序多步优化后的二值化位图数据流,从中抽取出有用的文字串信息供进一步分析使用。 ```python try: from PIL import Image except ImportError: import Image import pytesseract pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe' # Tesseract路径配置 text = pytesseract.image_to_string(Image.fromarray(warped)) print(text) ``` 以上就是整个基于OpenCV框架下针对纸质票据类影像资料自动化处理流程的一个概括介绍[^2].
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值