计算机视觉实验三——图像到图像的映射

单应性变换

单应性变换的目标是通过给定的几个点（通常是4对点）来得到单应性矩阵。单应性变换是将一个平面内的点映射到另一个平面内的二维投影变换。在这里，平面是指图像或者三维中的平面表示。单应性变换具有很强的实用性，比如图像配准，图像纠正和纹理扭曲，以及创建全景图像，我们将频繁的使用单应性变换。本质上，单应性变换H，按照下面的方程映射二维中的点（齐次坐标意义下）：

单应性矩阵具有 8 个独立的自由度。我们通常使用 w =1 来归一化点，这样，点具有唯一的图像坐标 x 和 y。这个额外的坐标使得我们可以简单地使用一个矩阵来表示变换。

变换是什么
接收实体，并以某种方式转化它们
常见的变换

• 平移
  平移表示点的位置从一处变到另一处，不是线性变换

• 旋转
  引入齐次坐标后
  

• 缩放
  
  沿着坐标轴作用的变换

• 剪切
  
  固定一边，拉动另外一边

• 刚体变换
  只有平移和旋转组成的变换称为刚体变换
  

• 仿射变换
  一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换和相似变换近似，不同之处在于相似变换具有单一旋转因子和单一缩放因子，仿射变换具有两个旋转因子和两个缩放因子，因此具有6个自由度
  

直接线性变换

线性变换的几何直观性质

• 直线变换后依旧是直线
• 直线比例保持不变
• 原点位置变换后不变

单应性矩阵可以由两幅图像（或者平面）中对应点对计算出来。前面已经提到过，一个完全射影变换具有 8 个自由度。根据对应点约束，每个对应点对可以写出两个方程，分别对应于 x 和 y 坐标。因此，计算单应性矩阵 H 需要４个对应点对。

DLT（Direct Linear Transformation，直接线性变换）是给定 4 个或者更多对应点对矩阵，来计算单应性矩阵 H 的算法。将单应性矩阵 H 作用在对应点对上，重新写出该方程，我们可以得到下面的方程：

或者 Ah =0 ，其中 A 是一个具有对应点对二倍数量行数的矩阵。将这些对应点对方程的系数堆叠到一个矩阵中，我们可以使用 SVD（Singular Value Decomposition，奇异值分解）算法找到 H 的最小二乘解。下面是该算法的代码。将下面的函数添加到 homography.py 文件中：

def H_from_points(fp,tp):
  """ 使用线性DLT 方法，计算单应性矩阵H，使fp 映射到tp。点自动进行归一化"""

  if fp.shape != tp.shape:
    raise RuntimeError('number of points do not match')

  # 对点进行归一化（对数值计算很重要）
  # --- 映射起始点---
  m = mean(fp[:2], axis=1)
  maxstd = max(std(fp[:2], axis=1)) + 1e-9
  C1 = diag([1/maxstd, 1/maxstd, 1])
  C1[0][2] = -m[0]/maxstd
  C1[1][2] = -m[1]/maxstd
  fp = dot(C1,fp)

  # --- 映射对应点---
  m = mean(tp[:2], axis=1)
  maxstd = max(std(tp[:2], axis=1)) + 1e-9
  C2 = diag([1/maxstd, 1/maxstd, 1])
  C2[0][2] = -m[0]/maxstd
  C2[1][2] = -m[1]/maxstd
  tp = dot(C2,tp)

  # 创建用于线性方法的矩阵，对于每个对应对，在矩阵中会出现两行数值
  nbr_correspondences = fp.shape[1]
  A = zeros((2*nbr_correspondences,9))
  for i in range(nbr_correspondences):
     A[2*i] = [-fp[0][i],-fp[1][i],-1,0,0,0,
           tp[0][i]*fp[0][i],tp[0][i]*fp[1][i],tp[0][i]]
     A[2*i+1] = [0,0,0,-fp[0][i],-fp[1][i],-1,
           tp[1][i]*fp[0][i],tp[1][i]*fp[1]