Datawhale 计算机视觉基础-图像处理（上）-Task02几何变换）

1、简介

该部分将对基本的几何变换进行学习，几何变换的原理大多都是相似，只是变换矩阵不同，因此，我们以最常用的平移和旋转为例进行学习。在深度学习领域，我们常用平移、旋转、镜像等操作进行数据增广；在传统CV领域，由于某些拍摄角度的问题，我们需要对图像进行矫正处理，而几何变换正是这个处理过程的基础，因此了解和学习几何变换也是有必要的。

2、算法理论介绍

a、仿射变换

原理

仿射变换（Affine Transformation）是指在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间的过程。仿射变换代表的是两幅图之间的映射关系。
我们通常使用 2x3 矩阵来表示仿射变换.如下图中的矩阵M，其中的B起着 平移 的作用，而A中的对角线决定 缩放，反对角线决定 旋转 或 错切。

所以仿射变换可以由一个矩阵A和一个向量B给出：

原像素点坐标(x,y)，经过仿射变换后的点的坐标是T，则矩阵仿射变换基本算法原理：

所以仿射变换是一种二维坐标（x, y）到二维坐标（u, v）的线性变换，其数学表达式如下：

其实到这里还没完，我们知道缩放和旋转通过矩阵乘法来实现，而平移是通过矩阵加法来实现的，为了将这几个操作都通过一个矩阵来实现，所以构造出了上面那个 2x3 的矩阵。

但是这个会改变图像的尺寸，比如一个 2x2 的图像，乘以 2x3 的矩阵，会得到 2x3 的图像，所以为了解决这个问题，我们就增加一个维度，也就是构造齐次坐标矩阵。

仿射变换保持了二维图像的“平直性”和“平行性”：

平直性：

• 直线经仿射变换后还是直线
• 圆弧经仿射变换后还是圆弧

平行性：

• 直线之间的相对位置关系保持不变
• 平行线经仿射变换后依然为平行线
• 直线上点的位置顺序不会发生变化
• 向量间夹角可能会发生变化

b、变换形式

先看第一个问题，变换的形式。与OpencV不同的是这里采取冈萨雷斯的《数字图像处理_第三版》的变换矩阵方式，关于OpenCV的策略可以看它的官方文档。根据冈萨雷斯书中的描述，仿射变换的一般形式如下：式中的T就是变换矩阵，其中 (v,w)为原坐标，(x,y) 为变换后的坐标，不同的变换对应不同的矩阵，这里也贴出来吧，一些常见的变换矩阵及作用如下表：

也就是说，我们根据自己的目的选择不同变换矩阵就可以了。

c、坐标轴变换

再看第二个问题，变换中心，对于缩放、平移可以以图像坐标原点（图像左上角为原点）为中心变换，这不用坐标系变换，直接按照一般形式计算即可。而对于旋转和偏移，一般是以图像中心为原点，那么这就涉及坐标系转换了。

我们都知道，图像坐标的原点在图像左上角，水平向右为 X 轴，垂直向下为 Y 轴。数学课本中常见的坐标系是以图像中心为原点，水平向右为 X 轴，垂直向上为 Y 轴，称为笛卡尔坐标系。看下图:

因此，对于旋转和偏移，就需要3步（3次变换）：

• 将输入原图图像坐标转换为笛卡尔坐标系；
• 进行旋转计算。旋转矩阵前面已经给出了；
• 将旋转后的图像的笛卡尔坐标转回图像坐标。

图像坐标系与笛卡尔坐标系转换关系：

先看下图：