图像到图像的映射

一、基础概念

1 图像到图像的映射

1.1 单应性变换（Homography）

单应性变换是将一个平面内的点映射到另一个平面内的二维投影变换。在这里，平面是指图像或者三维中的平面表示。单应性变换具有很强的实用性，比如图像配准，图像纠正和纹理扭曲，以及创建全景图像，我们将频繁的使用单应性变换。本质上，单应性变换H，按照下面的方程映射二维中的点（齐次坐标意义下）：

或者$$x^{{}^{\prime }}=Hx$$
对于图像平面内（甚至是三维中的点，后面我们会介绍到）的点，齐次坐标是个非常有用的表示方式。点的齐次坐标是依赖于其尺度定义的，所以，
x=[x,y,w]=[ax,ay,aw]=[x/w,y/w,1]
都表示同一个二维点。因此，单应性矩阵H也仅依赖尺度定义，所以，单应性矩阵具有8个独立的自由度。我们通常使用w=1来归一化点，这样，点具有唯一的图像坐标x和y。这个额外的坐标是的我们可以简单地使用一个矩阵来表示变换。

下面的函数可以实现对点进行归一化和转换齐次坐标的功能：

def normallize(points):
    """在齐次坐标意义下，对点集进行归一化，是最后一行为1"""
    for row in points:
        row /= points[-1]
    return points

def make_homog(points):
    """将点集（dim×n的数组）转换为齐次坐标表示"""

    return vstack((points,ones((1, points.shape[1]))))

进行点和变换的处理时。我们会按照列优先的原则存储这些点。因此，n个二维点集将会存储为齐次坐标意义下的一个3×n数组。这种格式使得矩阵乘法和点的变换操作更加容易。对于其他的例子，比如对于聚类和分类的特征，我们将使用典型的行数组来存储数据。

在这些投影变换中，有一些特别重要的变换，如下。

1.2 仿射变换（affine）

一种二维坐标到二维坐标之间的线性变换（相同平面），它保持了二维图形的“平直性”（直线经过变换之后依然是直线）和“平行性”（二维图形之间的相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变），但是角度会改变。任意的仿射变换都能表示为乘以一个矩阵(线性变换)，再加上一个向量 (平移) 的形式。
单应性变换有8个自由度，仿射有6个自由度
这类变换可以用一个3*3的矩阵M来表示，其最后- -行为(0, 0, 1)。该变换矩阵将原坐标，为(xy)变换为新坐标(x’y),
即：

仿射变换主要包括平移变换、旋转变换、缩放变换（也叫尺度变换）、倾斜变换（也叫错切变换、剪切变换、偏移变换）、翻转变换。

1.3 相似变换

相似变换就是比例变换，就是比例的缩放。
对于三维的比例变换有7个自由度，三个旋转，3个平移，一个比例因子。
相似变换是等距变换和均匀缩放的复合，矩阵表示如下：

分块简介形式：

其中s表示均匀缩放。相似变换也叫等形变换，形状保持不变。

不变量： 夹角、两直线长度的比率、两面积的比率
度量结构： 确定到只相差一个相似变换的结构
相似变换有四个自由度，比欧式变换多一个缩放自由度，相似变换可由两组点对算出（一组点对可得到两个方程）。

二、实战练习

1 例子

1.1 直接线性变换算法

单应性矩阵可以有两幅图像（或者平面）中对应点对计算出来。前面已经提到过，一个完全射影变换具有8个自由度。根据对应点约束，每个对应点对可以写出两个方程，分别对应于x和y坐标。因此，计算单应性矩阵H需要4个对应点对。

DLT（Direct Linear Transformation，直接线性变换）是给定4个点或者更多对应点对矩阵，来计算单应性矩阵H的算法。将单应性矩阵H作用在对应点上，重新写出该方程，我们可以得到下面的方程：$$[\begin{array}{c}-x_1\end{array}$$