图像透视映射（PerspectiveMappings）

图像透视映射（PerspectiveMappings）

提出问题：当我们拍摄物体时，如何将物体摆正？

具体实例实现步骤

1 导入所需模块

import numpy as np
import cv2
import matplotlib.pyplot as plt

2 读取图像并将其转化为灰度图像

src = cv2.imread("ex4.jpg")
img = np.copy(src)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 1)

plt.imshow(gray,plt.cm.gray) # 显示灰度图像需要加入参数“plt.cm.gray”
plt.title('gray')
plt.axis('off')
plt.show()

这里对图像进行高斯滤波，对去除图像噪点有一定帮助。

3 设置二值化阈值，将图像二值化处理

ref, thresh = cv2.threshold(gray, 150, 255, cv2.THRESH_BINARY)
plt.imshow(thresh,plt.cm.gray)
plt.title('thresh')
plt.axis('off')
plt.show()

设置二值化阈值是一个比较麻烦的工作，二值化图像的结果影响着后续轮廓检测。若二值化阈值设置得不好，则轮廓检测就无法很好将所拍物体的边框提出。最终导致无法获取透视变换的参数。可以引用一些自适应阈值的方法（OSTU），效果存疑。另外本文建议直接使用CNN提取物体的边框点，将其作为透视变换的参数。对于不同的物体，将具有更强的鲁棒性。

4 提取轮廓并筛选出拍摄物体的轮廓

image,contours, hierachy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

contnum = 0
contours_real = []
for contour in contours:
    if cv2.contourArea(contour) >1000000 :
        contnum+=1
        #cv2.drawContours(img,contour, -1, (0, 255, 0), 20)
        contours_real.append(contour)
#plt.imshow(img)
print("轮廓剩余{}个".format(len(contours_real)))

5 提取轮廓的四个顶点，作为透视映射的参数

img_point = img.copy()
approx = cv2.approxPolyDP(contour, 22, True)# 检测轮廓直线，输出端点次序为：右上——>左上——>左下——>右下
# print(approx.shape)
# print(approx)
#cv2.drawContours(img_copy, [approx], -1, (255, 0, 0), 15)
n = []
# 提取四个角的点
for x, y in zip(approx[:, 0, 0], approx[:, 0, 1]):
    n.append((x, y))
p1 = np.array(n, dtype=np.float32)
for i in range(4):
    cv2.circle(img_point, (p1[i][0],p1[i][1]),40, (255, 0, 0), 5)  # 画圆
    #cv2.circle(img_copy, (i[0], i[1]), 2, (0, 0, 255), 2)  # 画圆心
plt.imshow(img_point)
plt.title('points')
plt.axis('off')
plt.show()
print(p1)
'''
[[1952.  874.]
 [ 394.  975.]
 [ 161. 3313.]
 [2811. 2915.]]
 '''

6 透视映射并对比输入输出

p2 = np.array([(3024, 0), (0, 0), (0, 4032), (3024,4032)], dtype=np.float32)# 对应输出点
M = cv2.getPerspectiveTransform(p1, p2) # 变换矩阵
result = cv2.warpPerspective(img, M, (0, 0))# 使用透视变换
cv2.imwrite("result.jpg", result)
import matplotlib.pyplot as plt
plt.subplot(1,2,1)
plt.imshow(src)
plt.title('Original')
plt.axis('off')

plt.subplot(1,2,2)
plt.imshow(result)
plt.title('PerspectiveTransform')
plt.axis('off')
plt.show()

7 参考文献

原理：

Perspective Mappings
David Eberly, Geometric Tools, Redmond WA 98052

原理讲解及函数实现：

如何将图片中的一个任意四边形区域的图像转化为矩形【附源码】

Opencv-pythonAPI：

[OPENCV+PYTHON 文字识别（重点图像透视变换）]