OpenCV-图像透视变换

图像的透视变换（Perspective Transformation）是一种在图像处理中广泛使用的技术，它通过模拟人眼或相机镜头观看三维空间物体时的透视效果，来改变图像的视角和形状。以下是对图像透视变换的详细解释：

一、定义与原理

透视变换是一种非线性变换，它可以将一个二维坐标系中的点映射到三维坐标系中的点，然后再将其投影到另一个二维坐标系中的点。这种变换基于几何学中的透视原理，通过一个3x3的变换矩阵来实现，该矩阵作用于图像的每个像素坐标，从而进行坐标的映射转换。透视变换能够模拟真实世界中的透视效果，使物体看起来更接近、更远或者从不同角度观看。

二、应用场景

透视变换在图像处理和计算机视觉领域有着广泛的应用，包括但不限于以下几个方面：

• 图像校正：通过透视变换可以修正由于视角引起的图像扭曲，如将拍摄的倾斜书本或建筑物照片校正为正视图。
• 图像合成：将两个图像中的物体或场景合成在一起，仿佛它们是从同一视角拍摄的。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，透视变换用于模拟真实世界的视角和深度感，提升用户体验。
• 目标检测与跟踪：在目标检测和跟踪任务中，透视变换可以用于调整图像视角，以便更准确地识别和跟踪目标。
• 三维重建：在三维重建过程中，透视变换是连接二维图像与三维空间的关键技术之一。

三、实现方法

在OpenCV等图像处理库中，透视变换通常通过以下步骤实现：

• 选择对应点：在原始图像和目标图像上分别选择四个非共线的对应点。这些点通常是图像中的显著特征点，如纸上的角落、建筑物的边缘等。
• 计算变换矩阵：使用OpenCV中的cv2.getPerspectiveTransform函数根据这些对应点计算透视变换矩阵。
• 应用变换矩阵：使用cv2.warpPerspective函数将计算得到的透视变换矩阵应用于原始图像，从而得到变换后的图像。

四、代码运用

下面这段代码是一个使用OpenCV库处理图像（特别是发票或类似文档图像）的示例。它执行了一系列图像处理步骤，包括轮廓检测、透视变换、图像缩放、二值化以及形态学操作。

import numpy as np
import cv2


def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)


def order_points(pts):
    rect = np.zeros((4, 2), dtype='float32')  # 用来存储排序之后的坐标位置
    # 按顺序找到对应华标0123分别是左上，右上，右下，左下
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect


def four_point_transform(image, pts):
    rect = order_points(pts)
    (tl, tr, br, bl) = rect
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))
    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))
    # 变换后对应坐标位置
    dst = np.array([[0, 0], [maxWidth - 1, 0],
                    [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype='float32')
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    return warped


def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized




# 读取数据
image = cv2.imread('fapiao.png')
cv_show('image', image)

# 图牌片过大，进行缩小
ratio = image.shape[0] / 500.0
orig = image.copy()
image = resize(orig, height=500)
cv_show('1', image)

# 轮廓检测
print("STEP 1：轮廓检测")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 自动寻找阈值二值化
edged = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 0, 255), 1)
cv_show('image_contours', image_contours)

print("STEP 2:获取最大轮廓")
# 计算轮廓面积，并降序排序
screenCnt = sorted(cnts, key=cv2.contourArea, reverse=True)[0]

# 计算轮廓周长
peri = cv2.arcLength(screenCnt, True)
# 轮廓近似
screenCnt = cv2.approxPolyDP(screenCnt, 0.02 * peri, True)
image_contour = cv2.drawContours(image.copy(), [screenCnt], -1, (0, 255, 0), 2)

cv2.imshow('image_contour', image_contour)
cv2.waitKey(0)

# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite('invoice_new.jpg', warped)
cv2.namedWindow('xx', cv2.WINDOW_NORMAL)
cv2.imshow('xx', warped)
cv2.waitKey(0)

# 二值化
invoice_new = cv2.imread('invoice_new.jpg', cv2.IMREAD_GRAYSCALE)
ret, heibaitu = cv2.threshold(invoice_new, 127, 255, cv2.THRESH_BINARY)  # 固定阈值
# ret, heibaitu = cv2.threshold(invoice_new, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)  # 自适应阈值
heibaitu1 = resize(heibaitu, 600)
heibaitu2 = cv2.rotate(heibaitu1, cv2.ROTATE_90_COUNTERCLOCKWISE)
kernel = np.ones((2, 2), np.uint8)
heibaitu3 = cv2.morphologyEx(heibaitu2, cv2.MORPH_OPEN, kernel)
cv2.imshow('heibaitu', heibaitu3)
cv2.waitKey(0)

1. 导入必要的库
   • numpy：用于数组和矩阵运算。
   • cv2：OpenCV库，用于图像处理。
2. 辅助函数
   • cv_show(name, img)：显示图像窗口，并等待用户按键。
   • order_points(pts)：对四个点进行排序，以便它们以左上、右上、右下、左下的顺序排列。
   • four_point_transform(image, pts)：对图像进行透视变换，以校正文档图像的视角。
   • resize(image, width=None, height=None, inter=cv2.INTER_AREA)：调整图像大小。
3. 主处理流程
   • 读取和显示图像
     • 使用cv2.imread()读取图像。
     • 使用cv_show()显示原始图像。
   • 图像缩放
     • 如果图像过大，将其高度调整为500像素，以保持图像的宽高比。
   • 轮廓检测
     • 将图像转换为灰度图。
     • 使用Otsu阈值方法进行二值化。
     • 查找轮廓，并绘制在图像上。
   • 获取最大轮廓并近似
     • 对轮廓按面积进行排序，选择最大的轮廓（假设这是发票的轮廓）。
     • 计算轮廓的周长，并使用cv2.approxPolyDP()进行轮廓近似，以减少顶点数量。
   • 透视变换
     • 使用four_point_transform()函数对原始图像进行透视变换，以校正发票的视角。注意，这里需要将轮廓点乘以缩放比例ratio，以恢复到原始图像的大小。
     • 将变换后的图像保存并显示。

• 二值化和后处理
  • 读取变换后的图像，并将其转换为灰度图。
  • 使用固定阈值或Otsu阈值方法进行二值化。
  • 对二值化后的图像进行缩放和旋转，以适应不同的显示需求。
  • 应用形态学开运算（使用cv2.morphologyEx()），以去除小的白色噪点。
  • 显示处理后的图像。