图像畸变矫正——透视变换

图像畸变矫正——透视变换

由于相机制造精度以及组装工艺的偏差引入的畸变，或者由于照片拍摄时的角度、旋转、缩放等问题， 可能会导致原始图像的失真，如果要修复这些失真，我们可以通过透视变换，对图像进行畸变矫正。

透视变换的原理推导

透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)， 也称作投影映射(Projective Mapping)。透视变换的目的就是把现实中为直线的物体， 在图片上可能呈现为斜线， 通过透视变换转换成直线的变换。

仿射变换（Affine Transformation或 Affine Map） ， 又称为仿射映射， 是指在几何中， 图像进行从一个向量空间进行一次线性变换和一次平移， 变换为到另一个向量空间的过程。我们常说的仿射变换是透视变换的一个特例。

以上便是透视变换的原理图，即将源图像通过投影映射，从原图像平面变换到新图像平面。通用的变换公式为：

(X,Y,Z)是原图像平面坐标点， 对应得到变换后的图像平面坐标点为（X’;Y’;Z’） ，因为我们处理的是二维的图像，所以可以令Z’=1，并将变换后的图像坐标除以Z’，将图片由三维降维为两维，然后可以得到以下方程：

一般地， 我们令a33=1（方便得到X’,Y’，使方程3等号左侧分母为1）， 展开上面公式， 得到一个点的情况：

方程3中共有8个未知数（aij）,如果要解出该未知数，需要列八组方程，即分别在源图像和目标图像上人为选择四个点（通常选择图片的四个顶点）

在源图像上选四个坐标点，分别为A： （x0,y0),(x1,y1),(x2,y2),(x3,y3)

在目标图像上选四个坐标点，分别为B： (X’0,Y’0),(X’1,Y’1),(X’2,Y’2),(X’3,Y’3)

带入方程3，可以得出方程4，如下：

使用python，将上述推导过程定义为函数WarpPerspectiveMatrix(src, dst)，计算出变换矩阵warpMatrix，如下：

import numpy as np
 
def WarpPerspectiveMatrix(src, dst):
    assert src.shape[0] == dst.shape[0] and src.shape[0] >= 4
    #assert语句：用以检查某一条件是否为True，若该条件为False则会给出一个AssertionError。
    #注意这里src和dst的输入并不是图像，而是图像对应的顶点坐标点矩阵。
    nums = src.shape[0]
    A = np.zeros((2*nums, 8)) # A*warpMatrix=B
    B = np.zeros((2*nums, 1))
    for i in range(0, nums):
        A_i = src[i,:]
        B_i = dst[i,:]
        A[2*i, :] = [A_i[0], A_i[1], 1, 0, 0, 0,
                       -A_i[0]*B_i[0], -A_i[1]*B_i[0]]
        B[2*i] = B_i[0]
        
        A[2*i+1, :] = [0, 0, 0, A_i[0], A_i[1], 1,
                       -A_i[0]*B_i[1], -A_i[1]*B_i[1]]
        B[2*i+1] = B_i[1]
 
    A = np.mat(A)  #创建矩阵
    #用A.I求出A的逆矩阵，然后与B相乘，求出warpMatrix
    warpMatrix = A.I * B #求出a_11, a_12, a_13, a_21, a_22, a_23, a_31, a_32
    
    #之后为结果的后处理
    warpMatrix = np.array(warpMatrix).T[0]   #np.array():创建一个数组，.T[0]：将Tensor进行转置
    warpMatrix = np.insert(warpMatrix, warpMatrix.shape[0], values=1.0, axis=0) #插入a_33 = 1
    '''
    np.insert(arr, obj, values, axis)
    #arr原始数组，可一可多，obj插入元素位置，values是插入内容，axis是按行按列插入。
    '''
    warpMatrix = warpMatrix.reshape((3, 3))
    return warpMatrix
 
if __name__ == '__main__':
    '''
    #一个python文件通常有两种使用方法，第一是作为脚本直接执行，第二是 import 到其他的 python 脚本中被调用（模块重用）执行。
    # 因此 if __name__ == 'main': 的作用就是控制这两种情况执行代码的过程，在 if __name__ == 'main': 下的代码只有在第一种情况下
    # （即文件作为脚本直接执行）才会被执行，而 import 到其他脚本中是不会被执行的。
    '''
    print('warpMatrix')
    src = [[10.0, 457.0], [395.0, 291.0], [624.0, 291.0], [1000.0, 457.0]]
    src = np.array(src)
    
    dst = [[46.0, 920.0], [46.0, 100.0], [600.0, 100.0], [600.0, 920.0]]
    dst = np.array(dst)
    
    warpMatrix = WarpPerspectiveMatrix(src, dst)
    print(warpMatrix)

结果为：

warpMatrix
[[-5.01338334e-01 -1.35357643e+00  5.82386716e+02]
 [-1.38100642e-15 -4.84035391e+00  1.38781980e+03]
 [-2.29650079e-19 -4.14856327e-03  1.00000000e+00]]

上述推导过程是为了，让大家更加直观的的了解透视变换。在实际工程上，opencv库早已将上述过程集成为函数，我们选择网上流行的一张图片校验该opencv库中的畸变矫正算法。

代码块为：

import cv2
import numpy as np

img = cv2.imread('photo1.jpg')

result3 = img.copy()

#img = cv2.GaussianBlur(img,(3,3),0)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
"""
cv2.Canny(image,            # 输入原图（必须为单通道图）
          threshold1, 
          threshold2,       # 较大的阈值2用于检测图像中明显的边缘
          [, edges[, 
          apertureSize[,    # apertureSize：Sobel算子的大小
          L2gradient ]]])   # 参数(布尔值)：
                              true： 使用更精确的L2范数进行计算（即两个方向的倒数的平方和再开放），
                              false：使用L1范数（直接将两个方向导数的绝对值相加）。
"""
edges = cv2.Canny(gray,50,150,apertureSize = 3)
#cv2.imwrite("canny.jpg", edges)

'''
注意这里src和dst的输入并不是图像，而是图像对应的顶点坐标点矩阵。
'''
src = np.float32([[207, 151], [517, 285], [17, 601], [343, 731]])
dst = np.float32([[0, 0], [337, 0], [0, 488], [337, 488]])
# 生成透视变换矩阵；进行透视变换
'''
1 cv2.getPerspectiveTransform(src, dst) → retval
 参数说明
src：源图像中待测矩形的四点坐标
sdt：目标图像中矩形的四点坐标
返回由源图像中矩形到目标图像矩形变换的矩阵
'''
m = cv2.getPerspectiveTransform(src, dst)       #适用于一组点
'''
cv2.warpPerspective(src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]]) → dst
参数为：
src：输入图像
M：变换矩阵
dsize：目标图像shape
flags：插值方式，interpolation方法INTER_LINEAR或INTER_NEAREST
borderMode：边界补偿方式，BORDER_CONSTANT or BORDER_REPLICATE
borderValue：边界补偿大小，常值，默认为0
'''
result = cv2.warpPerspective(result3, m, (337, 488))  #适用于图片
cv2.imshow("src", img)
cv2.imshow("result", result)
cv2.waitKey(0)

输出的结果为