OpenCV透视变换：原理、应用与实现

在图像处理与计算机视觉领域，透视变换（Perspective Transformation）是一种强大的工具，它模拟了人眼或相机镜头观看三维空间物体时的透视效果，从而改变图像的视角和形状。本文将详细介绍透视变换的原理、应用场景以及如何使用OpenCV库来实现它。

透视变换的原理

透视变换是一种非线性变换，它可以将一个二维坐标系中的点映射到三维坐标系中的点，然后再将其投影到另一个二维坐标系中的点。这种变换基于几何学中的透视原理，通过一个3x3的变换矩阵来实现。该矩阵作用于图像的每个像素坐标，从而进行坐标的映射转换。

对于原始图像中的每个像素 (x, y)，首先将其表示为齐次坐标形式 (x, y, 1)。然后，将这个齐次坐标与透视变换矩阵相乘，得到新的齐次坐标 (x', y', w')。最后，通过归一化处理，即将新的齐次坐标除以 w'，得到最终的图像坐标 (x'/w', y'/w')。

应用场景

透视变换在图像处理和计算机视觉领域有着广泛的应用，包括但不限于以下几个方面：

1. 图像校正：将倾斜的文档图像校正为水平状态，便于后续的OCR识别或文本提取。
2. 图像拼接：在全景图像拼接中，通过透视变换将不同视角的图像对齐并拼接在一起。
3. 3D重建：在三维重建过程中，通过透视变换将二维图像中的特征点映射到三维空间中。
4. 增强现实：在AR应用中，通过透视变换将虚拟物体与真实场景融合，实现逼真的视觉效果。

1. 图像读取和缩放：
   • 使用cv2.imread()读取图像。
   • 如果图像过大，通过resize()函数将图像的高度调整为500像素，保持图像的宽高比不变。
2. 轮廓检测：
   • 将图像转换为灰度图。
   • 使用Otsu阈值进行二值化处理，以突出轮廓。
   • 通过cv2.findContours()找到所有的轮廓。
   • 绘制所有轮廓到图像上，并显示。
3. 获取最大轮廓并进行透视变换：
   • 根据轮廓面积排序，选择最大的轮廓。
   • 对最大轮廓进行近似处理，使其更加平滑（通常用于四边形检测）。
   • 由于在轮廓检测时使用的是缩小后的图像，因此在进行透视变换前需要将轮廓坐标乘以缩放比例ratio，以恢复到原图尺寸。
   • 使用four_point_transform()函数对原图进行透视变换，以校正图像中的四边形区域。
4. 二值化和形态学操作：
   • 对透视变换后的图像进行二值化处理，以便进一步处理。
   • 使用形态学闭操作（cv2.morphologyEx()）来填充图像中的小黑洞或小黑点，使得文字更加清晰。
5. 图像旋转：
   • 对二值化和形态学处理后的图像进行旋转。（如果需要）
   • 显示旋转后的图像。

import numpy as np
import cv2


def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)


def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype="float32")  # 用来存储排序之后的坐标位置
    # 按顺序找到对应华标0123分别是左上，右上，右下，左下
    s = pts.sum(axis=1)  # 对pts矩阵的每一行进行求和操作。(x+y)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
    diff = np.diff(pts, axis=1)  # 对pts矩阵的每一行进行求差操作。(y-x)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect


def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    (tl, tr, br, bl) = rect
    # 计算输入的w和h 值
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))
    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))
    # 变换后对应坐标位置
    dst = np.array([[0, 0], [maxWidth - 1, 0],
                    [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
    # 图像透视变换 cv2.getPerspectiveTransform(src,dst[,solveMethod])→ MP获得转换之间的关系
    # cy2.warpPerspective(src, Mp, dsizel, dstl, flagsl, borderModel, borderValue]]1])- dst
    # 参数说明:
    # src:变换前图像四边形顶点坐标/第2个是原图
    # MP:透视变换矩阵，3行3列
    # dsize:输出图像的大小，二元元组(width，heiqht)
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    # 返回变换后结果
    return warped


def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)  # 默认为cv2.INTER_AREA，即面积插值，适用于缩放图像。
    return resized


image = cv2.imread('fapiao.jpg')
cv_show('image', image)
# 图片过大，进行缩小处理
ratio = image.shape[0] / 500.0  # 计算缩小比率
orig = image.copy()
image = resize(orig, height=500)
cv_show('1', image)

# 轮廓检测
print("STEP 1:轮廓检测")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)  # 读取灰度图

edged = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]  # 自动寻找
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 0, 255), 1)
cv_show('image_contours', image_contours)

print("STEP 2:获取最大轮廓")
screenCnt = sorted(cnts, key=cv2.contourArea, reverse=True)[0]  # 获取面积最大的轮廓
peri = cv2.arcLength(screenCnt, True)  # 计算轮廓周长
screenCnt = cv2.approxPolyDP(screenCnt, 0.02 * peri, True)  # 轮廓近似
image_contour = cv2.drawContours(image.copy(), [screenCnt], -1, (0, 255, 0), 2)

cv2.imshow("image_contour", image_contour)
cv2.waitKey(0)

# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite('invoice_new.jpg', warped)
cv2.namedWindow('xx', cv2.WINDOW_NORMAL)
cv2.imshow('xx', warped)
cv2.waitKey(0)

a = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)

kernel =np.ones((2,2),np.uint8)
ref_new=cv2.morphologyEx(a, cv2.MORPH_CLOSE, kernel)#
ref_new=resize(ref_new.copy(),width=500)
cv_show('yy',ref_new)
rotated_image = cv2.rotate(ref_new, cv2.ROTATE_90_COUNTERCLOCKWISE)
cv2.imshow("result",rotated_image)
cv2.waitKey(0)

原图：

处理后：