用OpenCV进行透视变换

1. 引言

欢迎回来！今天我们将焦点聚焦在我在图像处理中最喜欢的话题之一——透视变换。使用该技术，可以灵活方便的实现各种各样好玩的特效。

闲话少说，我们直接开始吧！

2. 单应矩阵

我们首先展开对单应矩阵的深入研究。作为图像处理的基本工具，它在捕捉图像中的几何变换方面发挥着至关重要的作用。更具体地说，它是实现透视变换的秘密武器。

单应矩阵被定义为图像的两个平面投影之间的映射。它由齐次坐标空间中的3x3变换矩阵表示。这些变换可以是旋转、平移、缩放等操作的组合。

我们用示意图总结如下：

3. 举个栗子

虽然上图简明地定义了常见的转换，但是如果我们将其应用到输入和输出为图像操作会怎样？根据变换，我们需要几个点来计算单应矩阵。让我们来做吧！像往常一样，让我们首先导入必要的库，如下：

# Import libraries
from skimage.io import imread, imshow
import matplotlib.pyplot as plt
import numpy as np
from skimage import transform

接着导入我们需要的测试图像，代码如下：

# Display the original image

image = imread('painting.png')
plt.figure(figsize=(20,20))
plt.imshow(image)
plt.title('Original Image', fontsize=20, weight='bold')
plt.axis('off')
plt.show()

结果如下：

4. 计算变换矩阵

接着我们想对这幅画有一个自上而下的视图。我们需要计算单应矩阵。我们必须确定这幅画明确的角点。在这种情况下，我使用画图应用程序来识别画的四个角点坐标：

# Source points
src = np.array([879, 625,                    # top left
                431, 2466,                   # bottom left
                3251, 61,                    # top right
                3416, 2767]).reshape((4, 2)) # bottom right

为了执行单应性变换，我们需要一组与源点相对应的目标点。这些目标点表示我们希望源点在输出图像中的位置。对于自上而下的视图，这里我们引用源点的最小值和最大值x和y：

# Destination points
dst = np.array([
    [np.min(src[:, 0]), np.min(src[:, 1])],  # top left
    [np.min(src[:, 0]), np.max(src[:, 1])],  # bottom left
    [np.max(src[:, 0]), np.min(src[:, 1])],  # top right
    [np.max(src[:, 0]), np.max(src[:, 1])],  # bottom right
])

接着我们用以下代码计算单应矩阵，如下：

tform = transform.estimate_transform('projective', src, dst)

5. 透视变换

经过上述处理，我们有了执行透视变换所需要的单应性矩阵，接着我们来执行对应的透视变换，如下：

tf_img = transform.warp(image, tform.inverse)
fig, ax = plt.subplots(figsize=(20,20))
ax.imshow(tf_img)
_ = ax.set_title('projective transformation')

得到结果如下：

6. 美化显示效果

观察上图，考虑到图像外围添加了白色像素，输出看起来很奇怪，我们可以编辑出代码来裁剪这些奇怪的墙和额外的像素：

# Load the image
image = imread('painting.png')

# Source points
src = np.array([879, 625,                    # top left
                431, 2466,                   # bottom left
                3251, 61,                    # top right
                3416, 2767]).reshape((4, 2)) # bottom right

# Estimate the width and height from the source points
width = np.max(src[:, 0]) - np.min(src[:, 0])
height = np.max(src[:, 1]) - np.min(src[:, 1])

# Destination points (forming a box shape)
dst = np.array([
    [0, 0],
    [0, height],
    [width, 0],
    [width, height]
])

# Compute the projective transform
tform = transform.estimate_transform('projective', src, dst)

# Apply the transformation
warped_image = transform.warp(image, tform.inverse, output_shape=(height, width))

# Convert the warped image to uint8
warped_image_uint8 = (warped_image * 255).astype(np.uint8)

# Display the transformed and cropped image
plt.figure(figsize=(20,20))
plt.imshow(warped_image_uint8)
plt.title('Transformed and Cropped Image', fontsize=20, weight='bold')
plt.axis('off')
plt.show()

最终的显示效果如下：

7. 总结

经过我们一步一步的优化，我们最终得到了，一幅美丽而干净的自上而下的油画。一般来说，一旦我们有了单应矩阵，我们也可以用它来变换一幅图像，使其与另一幅图像的视角对齐。这对于图像拼接等应用非常有用！

嗯嗯，您学废了嘛？