opencv学习：通过图像透视进行发票识别完整代码流程

于 2024-09-28 19:56:06 发布
阅读量341 收藏 16
点赞数 12
文章标签： opencv 学习 人工智能 深度学习 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mohanyelong/article/details/142620128
版权

概念：

        使用OpenCV库实现图像的透视变换处理，以矫正图像中的透视失真。通过本实验，学习者将掌握图像处理的基本操作，包括图像的读取、显示、大小调整、灰度转换、二值化、轮廓检测、轮廓近似以及透视变换。

步骤：

1. 导入库

导入必要的Python库，包括OpenCV和NumPy。

import numpy as np
import cv2

2. 定义函数

定义几个函数来处理图像的不同步骤。

cv_show(name, img)
  • 显示图像的函数，接受窗口名称和图像作为参数。 
    def cv_show(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)
order_points(pts)
  • 对四个点进行排序，确保它们按照左上、右上、右下、左下的顺序。 
    def order_points(pts):
    rect = np.zeros((4,2),dtype='float32')   # 创建一个4x2的数组，指定了数组中元素的数据类型为32位浮点数
    # 按顺序找到对应坐标0123分别是左上、右上、右下、左下
    s = pts.sum(axis=1)   # 对pts矩阵的每一行进行求和操作
    rect[0] = pts[np.argmin(s)]#左上角的点
    rect[2] = pts[np.argmax(s)]#右下角的点
    diff = np.diff(pts,axis=1)   # 对pts矩阵的每一行进行差值
    rect[1] = pts[np.argmin(diff)]#右上角的点
    rect[3] = pts[np.argmax(diff)]#左下角的点
    return rect
four_point_transform(image, pts)
  • 根据四个点进行图像的透视变换。 
    def four_point_transform(image,pts):
    # 获取输入坐标点
    rect = order_points(pts)
    (tl,tr,br,bl) = rect#tl 是左上角点，tr 是右上角点，br 是右下角点，bl 是左下角点。

    # 计算两个可能的宽度，取这两个宽度的最大值作为新图像的宽度。
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1]-bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1]-tl[1]) ** 2))
    maxWidth = max(int(widthA) , int(widthB))
    ## 计算两个可能的高度，取这两个高度的最大值作为新图像的高度。
    heightA = np.sqrt(((tr[0]-br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0]-bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA),int(heightB))

    # 变换后对应坐标位置
    dst = np.array([[0,0],
                    [maxWidth-1,0],
                    [maxWidth-1,maxHeight-1],
                    [0,maxHeight-1]],dtype='float32')

    # 图像透视变换 cv2.getPerspectiveTransform(src,dst[,solveMethod])→ MP获得转换之间的关系
    # cy2.warpPerspective(src, Mp, dsizel, dstl, flagsl, borderModel, borderValue]]1])- dst
    # #参数说明:
    # src:变换前图像四边形顶点坐标/第2个是原图
    # MP:透视变换矩阵，3行3列
    # dsize:输出图像的大小，二元元组(width，heiqht)
    M = cv2.getPerspectiveTransform(rect,dst)#计算透视变换矩阵 M，它描述了如何将原始图像中的点映射到目标坐标。
    warped = cv2.warpPerspective(image,M,(maxWidth,maxHeight))#透视变换
    # 返回变换后的结果
    return warped
resize(image, width=None, height=None, inter=cv2.INTER_AREA)
  • 调整图像大小的函数，接受图像、宽度、高度和插值方法作为参数。 
    #用于调整图像的大小。
def resize(image,width=None,height=None ,inter=cv2.INTER_AREA):
    dim=None
    (h,w) = image.shape[:2]#获取输入图像的高度和宽度。
    if width is None and height is None:#如果宽度和高度都没有指定，则直接返回原始图像。
        return image

    if width is None:#如果只指定了高度，计算新的宽度以保持图像的宽高比。
        r=height/float(h)
        dim=(int(w*r),height)
    else:#如果只指定了宽度，计算新的高度以保持图像的宽高比。
        r=width/float(w)
        dim=(width,int(h*r))
    #根据计算出的尺寸 dim 调整图像大小。
    resized=cv2.resize(image,dim,interpolation=inter)     # 默认为cV2.INTER_AREA，即面积插值，适用于缩放图像。
    return resized

3. 读取和显示原始图像

读取名为fapiao.jpg的发票图像，并显示。

# 读取输入
image = cv2.imread('fapiao.jpg')
cv_show('image',image)

4. 图像缩小处理

将图像缩小到一定高度（例如500像素），并显示缩小后的图像，以便于处理。

# 图片过大，进行缩小处理
ratio = image.shape[0] / 500.0  # 计算缩小比率
orig = image.copy()
image = resize(orig, height=500)
cv_show('1',image)

5. 轮廓检测

将图像转换为灰度图，进行二值化处理，并检测图像轮廓。

# 轮廓检测
print('step 1 : 轮廓检测')
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)  # 灰度图
#二值化处理
edged = cv2.threshold(gray,0,255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]  # 自动寻找网值二位化
#检测二值化图像中的轮廓。
cnts = cv2.findContours(edged.copy(),cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)[1]
#绘制轮廓
image_contours = cv2.drawContours(image.copy(),cnts,-1,(0,0,255),1)
cv_show('image_contours',image_contours)

6. 获取最大轮廓

找到面积最大的轮廓，并进行轮廓近似。

print('step 2 :获取最大轮廓')
#获取最大轮廓
screenCnt = sorted(cnts,key = cv2.contourArea,reverse=True)[0]   # 获取面积最大的轮廓
#计算轮廓周长
peri = cv2.arcLength(screenCnt,True)   # 计算轮廓周长
#轮廓近似
screenCnt = cv2.approxPolyDP(screenCnt,0.02*peri,True)  # 轮廓近似
#绘制近似轮廓
image_contour = cv2.drawContours(image.copy(),[screenCnt],-1,(0,255,0),2)

cv2.imshow('image_contour',image_contour)
cv2.waitKey(0)

7. 透视变换

使用近似后的轮廓点进行透视变换，矫正发票图像的透视失真。

# 透视变换
warped = four_point_transform(orig,screenCnt.reshape(4,2)*ratio)

8. 显示和保存结果

显示透视变换后的图像，并将其保存为新文件。

cv2.imwrite('invoice_new.jpg',warped)
cv2.namedWindow('xx',cv2.WINDOW_NORMAL)
cv2.imshow('xx',warped)
cv2.waitKey(0)

9.运用形态学变换图像

形态学闭运算使图像更加清晰

a=cv2.imread('invoice_new.jpg')
a=cv2.cvtColor(a,cv2.COLOR_BGR2GRAY)
a=cv2.threshold(a,0,255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
a=cv2.resize(a,(800,600))
a=np.rot90(a,1)

kernel = np.ones((1,1), np.uint8)

c=cv2.morphologyEx(a,cv2.MORPH_CLOSE,kernel)

cv2.imshow('a',c)
cv2.waitKey(0)

代码结果

完整代码

import numpy as np
import cv2
#透视变换
def cv_show(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)

def order_points(pts):
    rect = np.zeros((4,2),dtype='float32')   # 创建一个4x2的数组，指定了数组中元素的数据类型为32位浮点数
    # 按顺序找到对应坐标0123分别是左上、右上、右下、左下
    s = pts.sum(axis=1)   # 对pts矩阵的每一行进行求和操作
    rect[0] = pts[np.argmin(s)]#左上角的点
    rect[2] = pts[np.argmax(s)]#右下角的点
    diff = np.diff(pts,axis=1)   # 对pts矩阵的每一行进行差值
    rect[1] = pts[np.argmin(diff)]#右上角的点
    rect[3] = pts[np.argmax(diff)]#左下角的点
    return rect

def four_point_transform(image,pts):
    # 获取输入坐标点
    rect = order_points(pts)
    (tl,tr,br,bl) = rect#tl 是左上角点，tr 是右上角点，br 是右下角点，bl 是左下角点。

    # 计算两个可能的宽度，取这两个宽度的最大值作为新图像的宽度。
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1]-bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1]-tl[1]) ** 2))
    maxWidth = max(int(widthA) , int(widthB))
    ## 计算两个可能的高度，取这两个高度的最大值作为新图像的高度。
    heightA = np.sqrt(((tr[0]-br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0]-bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA),int(heightB))

    # 变换后对应坐标位置
    dst = np.array([[0,0],
                    [maxWidth-1,0],
                    [maxWidth-1,maxHeight-1],
                    [0,maxHeight-1]],dtype='float32')

    # 图像透视变换 cv2.getPerspectiveTransform(src,dst[,solveMethod])→ MP获得转换之间的关系
    # cy2.warpPerspective(src, Mp, dsizel, dstl, flagsl, borderModel, borderValue]]1])- dst
    # #参数说明:
    # src:变换前图像四边形顶点坐标/第2个是原图
    # MP:透视变换矩阵，3行3列
    # dsize:输出图像的大小，二元元组(width，heiqht)
    M = cv2.getPerspectiveTransform(rect,dst)#计算透视变换矩阵 M，它描述了如何将原始图像中的点映射到目标坐标。
    warped = cv2.warpPerspective(image,M,(maxWidth,maxHeight))#透视变换
    # 返回变换后的结果
    return warped

#用于调整图像的大小。
def resize(image,width=None,height=None ,inter=cv2.INTER_AREA):
    dim=None
    (h,w) = image.shape[:2]#获取输入图像的高度和宽度。
    if width is None and height is None:#如果宽度和高度都没有指定，则直接返回原始图像。
        return image

    if width is None:#如果只指定了高度，计算新的宽度以保持图像的宽高比。
        r=height/float(h)
        dim=(int(w*r),height)
    else:#如果只指定了宽度，计算新的高度以保持图像的宽高比。
        r=width/float(w)
        dim=(width,int(h*r))
    #根据计算出的尺寸 dim 调整图像大小。
    resized=cv2.resize(image,dim,interpolation=inter)     # 默认为cV2.INTER_AREA，即面积插值，适用于缩放图像。
    return resized

# 读取输入
image = cv2.imread('fapiao.jpg')
cv_show('image',image)

# 图片过大，进行缩小处理
ratio = image.shape[0] / 500.0  # 计算缩小比率
orig = image.copy()
image = resize(orig, height=500)
cv_show('1',image)


# 轮廓检测
print('step 1 : 轮廓检测')
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)  # 灰度图
#二值化处理
edged = cv2.threshold(gray,0,255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]  # 自动寻找网值二位化
#检测二值化图像中的轮廓。
cnts = cv2.findContours(edged.copy(),cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)[1]
#绘制轮廓
image_contours = cv2.drawContours(image.copy(),cnts,-1,(0,0,255),1)
cv_show('image_contours',image_contours)


print('step 2 :获取最大轮廓')
#获取最大轮廓
screenCnt = sorted(cnts,key = cv2.contourArea,reverse=True)[0]   # 获取面积最大的轮廓
#计算轮廓周长
peri = cv2.arcLength(screenCnt,True)   # 计算轮廓周长
#轮廓近似
screenCnt = cv2.approxPolyDP(screenCnt,0.02*peri,True)  # 轮廓近似
#绘制近似轮廓
image_contour = cv2.drawContours(image.copy(),[screenCnt],-1,(0,255,0),2)

cv2.imshow('image_contour',image_contour)
cv2.waitKey(0)

# 透视变换
warped = four_point_transform(orig,screenCnt.reshape(4,2)*ratio)
cv2.imwrite('invoice_new.jpg',warped)
cv2.namedWindow('xx',cv2.WINDOW_NORMAL)
cv2.imshow('xx',warped)
cv2.waitKey(0)

a=cv2.imread('invoice_new.jpg')
a=cv2.cvtColor(a,cv2.COLOR_BGR2GRAY)
a=cv2.threshold(a,0,255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
a=cv2.resize(a,(800,600))
a=np.rot90(a,1)

kernel = np.ones((1,1), np.uint8)

c=cv2.morphologyEx(a,cv2.MORPH_CLOSE,kernel)

cv2.imshow('a',c)
cv2.waitKey(0)
夜清寒风
关注
【opencv学习】基于透视变换和OCR识别的小票识别
qq_29367075的博客
02-27 5004
本文基于之前学习的透视变换、和OCR识别，做了个简单的小票识别，如下： import cv2 import numpy as np from PIL import Image import pytesseract as tess dsize = (55, 88) # 统一尺度 # 展示图像，封装成函数 def cv_show_image(name, img): cv2.imshow(name, img) cv2.waitKey(0) # 等待时间，单位是毫秒，0代表任意键终止
OpenCV-图像透视变换
最新发布
2301_77698138的博客
09-28 820
透视变换是一种非线性变换，它可以将一个二维坐标系中的点映射到三维坐标系中的点，然后再将其投影到另一个二维坐标系中的点。这种变换基于几何学中的透视原理，通过一个3x3的变换矩阵来实现，该矩阵作用于图像的每个像素坐标，从而进行坐标的映射转换。透视变换能够模拟真实世界中的透视效果，使物体看起来更接近、更远或者从不同角度观看。
深入学习OpenCV文档扫描OCR识别及答题卡识别判卷（文档扫描，图像矫正，透视变换，OCR识别）
iFlyAI的博客
11-11 3537
人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。 如果需要处理的原图及代码，请移步小编的GitHub地址 　　传送门：请点击我 　　如果点击有误：https://github.com/LeBron-Jian/ComputerVisionPractice 　　下面准备学习如何对文档...
图像处理与OCR识别的实践经验（2）
LiRongLu_的博客
09-18 1166
本篇文章将结合实践经验，探讨如何使用图像处理技术提升OCR识别效果，并分享项目中遇到的挑战与解决方案。
OpenCV练习（2）图像校正
PLANTTHESON的博客
06-20 1252
创建一个目标点数组。
OpenCV实战之三 | 基于OpenCV实现图像校正
w94ghz的博客
09-17 3013
使用Python，OpenCV进行银行支票数字和符号的OCR!
weixin_52994140的博客
08-31 1051
这一篇将介绍如何使用Python，OpenCV从支票图像中提取OCR银行账户和路由号码（数字和符号）。 OCR银行支票比OCR信用卡更难——这主要是因为银行支票符号由多个部分组成。因此不能假设参考字体图像中的每个轮廓都映射到单个字符。 相反需要额外的逻辑来检查每个轮廓的尺寸，并确定检测到的是数字还是符号。 在找到符号的情况下，需要抓取下两个轮廓来构建边界框（因为银行支票控件字符由三个不同的部分组成）。 . 效果图 MICR E-13B字符集简单提取过程如下：原始图 VS 灰度图 VS 阈值化图 V
发票表格检测——传统图像方法
wentinghappyday的博客
09-20 1851
传统图像处理手段实现发票表格检测
Android端基于OpenCV 的边框识别功能
AndroidUpUp的博客
03-20 2144
本篇文章主要就边框识别部分说一下开发过程及实现原理，通过阅读本篇文章，你将具备以下技能： 了解 NDK 开发的基本步骤，能使用 Java、C++/C 混合开发简单的应用 了解 OpenCV 库的作用及其用法，能使用 OpenCV 做图像处理 了解基于 OpenCV 的边框识别实现 OpenCV 的全称是 Open Source Computer Vision Library，是一个使用 C++ 编...
人脸识别（基于OpenCv 完整代码）
03-11
**人脸识别技术概述** 人脸识别是一种基于人的面部特征信息进行身份识别的生物识别技术。在计算机视觉领域，它属于...通过学习和应用这些代码，我们可以掌握从人脸检测到识别的完整流程，并将其应用到自己的项目中。
计算机视觉实战--OpenCV进行红绿灯识别
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
05-30 6万+
Hello大家好，我是Dream。 OpenCV是一个开源的计算机视觉库，可以用于实现各种图像和视频处理任务，包括红绿灯识别。可以帮助自动驾驶汽车、智能交通系统等设备准确地识别红绿灯的状态，以便做出正确的决策。今天，就有Dream带领大家复盘一下计算机视觉中最经典的实验：OpenCV进行红绿灯识别，一起来看看吧~
备赛笔记：Opencv学习：颜色识别
Raine_Yang的博客
07-19 6302
设置卷积核，第一个参数代表卷积核形状，有MORPH_RECT（矩形），MORPH_ELLIPSE（椭圆），MORPH_CROSS（十字形），第二个参数代表卷积核行和列。cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息。H色调，用角度度量，范围0°到360°，从红色开始逆时针方向计算。cv2.inRange(图像，阈值下限，阈值上限)将阈值范围内像素设为255，阈值之外像素设为0。...
OpenCV实战（1）——OpenCV与图像处理基础
热门推荐
盼小辉丶的博客
10-24 6万+
OpenCV 是一个跨平台计算机视觉和机器学习库，实现了图像处理和计算机视觉方面的很多通用算法。本节将介绍 OpenCV 的基础知识，以及如何编译运行 OpenCV 程序，并介绍如何完成最基本的图像处理任务——读取、显示和保存图像。除此之外，鼠标事件和图形绘制也是 OpenCV 计算机视觉项目中常用的基本功能，本节介绍了如何使用这两个重要的 OpenCV 功能。
使用OpenCVSharp实现图像拼接详解
仰望星空的博客
09-25 811
图像拼接是一个综合性的计算机视觉任务，涉及特征检测、匹配、单应性估计等多个步骤。OpenCVSharp提供了强大的工具，使得在C#中实现这项任务变得相对简单。通过以上步骤和示例代码，你可以轻松拼接多张图像，生成完整的全景图像。
使用Python和OpenCV生成灰阶图像
钱彬的博客
09-24 458
【代码】使用Python和OpenCV生成灰阶图像。
附录2-opencv在图像上标记的方法
potato123232的博客
09-25 835
有两种方法，分别是fillConvexPoly()与fillPoly()我下面做个例子，首先我们要有一个这样的字体文件放在代码的同级目录下。他们都写不了中文，如果要写中文需要用其他的库来写。points变量传入前是这样的。rectangle的参数。字体还可以选择下面这些值。
OpenCV视频I/O(2）视频采集类VideoCapture之检索视频流的各种属性函数get()的使用
jndingxin的专栏
09-27 885
VideoCapture 的 get() 函数用于检索视频流的各种属性。这个函数允许你查询视频源的状态和配置，例如分辨率、帧率等。
用Python与OpenCV的实践：实时面部对称性分析
WenJGo的博客
09-25 872
利用Python、OpenCV和dlib库实现人脸特征的检测与对称性评估。文章详细介绍了如何加载人脸检测模型、提取面部关键点，并计算左右鼻子与眼睛的距离差异以评估面部对称性。 新手也能学会！！！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值