CS231A：Transformation in 2D

2D的点、线、面

这里的点都是齐次式

点在线上的条件：
$$x^T\cdot l=0$$

求过两点$x$、$x^{\prime }$的直线的表达式：
$$l=x\times x^{\prime }$$

求两条直接直线的交点：
$$x=l\times l^{\prime }$$

这里是叉乘，得到的是齐次式，换成非齐次就是交点的坐标

另一种写法：

$$x=l\times l^{\prime }=\left|\begin{array}{ccc}i& j& k\\ x_1& x_2& x_3\\ y_1& y_2& y_3\end{array}\right|$$

理想点和无穷远线

具有齐次坐标$(x,y,0{)}^T$的点，一般来说不会和二维平面中的有限点对应，求两个平行线的交点的时候就会有这样的结果，也和平行线相交于无穷远的概念相吻合。

这样的点也被称为理想点，或无穷远点，这些点的集合为$(x_1,x_2,0{)}^T$，都集合在无穷远线上，无穷远线为$I_{\infty }=(0,0,1{)}^T$，且：
$$(0,0,1)\cdot (x_1,x_2,0{)}^T=0$$

二次曲线

二次曲线方程：$a{x}^2+bxy+c{y}^2+dx+ey+f=0$

五个点定义一条二次曲线，设参数为$ c= (a,b,c,d,e,f)^T$,把五个点约束起来得到：

求过曲线$C$上的点$x$的切线$l$：
$$l=Cx$$

---

中心投影

$$中心投影图$$
中心投影把一张平面的点映射成另一张平面的点，就是连接原点、$x^{\prime }$、$x$会在一条直线上，这种情况下直线还是被映射成直线，也能用$x^{\prime }=Hx$来表示。

如果在两个平面建立的是直角坐标系，那么就会有比普通射影更多的约束，被称为透视映射

虽然直线被映射成直线，但是直线与直线之间的夹角变了

---

2D平面间的变换类型

交比(cross ratio)

$$定义式$$
关于交比的性质：

1. 交比的值和各点的具体齐次值无关
2. 如果每个点都是有限点，并且齐次表示中均选择$x_2=1$，那么$|\overline{x_i}\overline{x_j}$就表示由$\overline{x_i}$到$\overline{x_j}$的带符号的距离
3. 如果其中有一个理想点，交比的定义仍然有效
4. 在任何直线的射影变换下，交比的值不变

等距变换(Isometries transformations)

很简单，旋转与平移，也就是欧式变换：

$$矩阵表示$$
$ϵ=\pm 1$，表示等距变换是保向(+)的还是逆向(-1)的

$$分块形式$$

$$效果图$$
自由度：三个自由度：旋转一个，平移两个
不变量：长宽、角度、面积

相似变换(Similarity transformations)

欧式变换和均匀缩放的复合：

$$矩阵表示$$

$$分块形式$$

$$效果图$$
自由度：比欧式变换多一个缩放，四个，可用两组点求出
不变量：夹角、长宽比例、面积比例

仿射变换(Affine transformations)

仿射变换是非奇异线性变换和一个平移变换的复合

$$矩阵表示$$

$$分块形式$$

其中$A$是一个$2\times 2$是一个非奇异矩阵

理解A：

可以把$A$看成两种基本变换(旋转和非均匀缩放)的复合，可以分解为：
$$A=UD{V}^T=(U{V}^T)(VD{V}^T)=R(\theta )R(-\varphi )DR(\varphi )$$
左边的式子是SVD算来的，对应起来如下：
$$R(\theta )=U{V}^T,D=D,R(\varphi )=V^T$$
其中$R(\theta )$和$R(\varphi )$分别表示转角为$\theta$和$\varphi$的旋转，$D$是对角矩阵：
$$D=\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]$$

解释下A做了什么:

先进行$(\varphi )$的旋转，再旋转的基础上对$x,y$分别进行比例因子${\lambda }_1,{\lambda }_2$的缩放，然后再加一个回转$(-\varphi )$，再加一个旋转$(\theta )$，可以看下图：

$$顺序从1到4$$

为啥要旋转后再缩放再旋转回来？
缩放的方向是根据图像固定的吗，比如说垂直于坐标系？
答：应该是固定的，两个缩放轴还是正交的，和坐标系相关联，旋转到需要的角度，然后对着这个角度来进行缩放，一套组合拳

$$a:R(\theta )b:R(-\varphi )DR(\varphi )$$

$$效果图$$
自由度：比相似变换多了两个自由度，一个是缩放方向的$\varphi$，京一个是缩放$x,y$的比例${\lambda }_1:\lambda$，所以是六个

不变量：

1. 平行线。
2. 平行线段的长度比。假定线段和正交缩放方向$x-$轴的夹角是$\alpha$，那么缩放比例就是$\sqrt{{\lambda }_1^{2}co{s}_{\alpha }^2+{\lambda }_2^{2}si{n}^2\alpha }$，那么平行的线段夹角相同，缩放也就一样了
3. 面积比。面积被缩放了${\lambda }_1{\lambda }_2$倍，所有的都是。

射影变换(Projective transformations)

是仿射变换的一种推广

$$分块形式$$

和仿射变换的区别：
仿射变换在无穷远点的情况：

射影变换在无穷远点的情况：

我的理解就是多了个“放躺”的操作，这样无穷远点就能被映射到有限点，所以能对消影点进行建模。

射影变换作用：
射影变换也叫单应(homography)，将点从一个平面映射到另一个平面上，假设射影变换就是$h$，那么满足射影变换的条件为：当且仅当$h(x_1),h(x_2),h(x_3)$共线的时候，$x_1,x_2,x_3$也共线。

构成$h$的充要条件：存在一个$3\times 3$非奇异矩阵$H$，使得一平面上的任一个用矢量$x$表示的点都满足$h(x)=Hx$，$h(x)$是对应平面的点。

$$矩阵表示$$

$$效果图$$
这个$H$是一个齐次矩阵，就是说和点的齐次一样，乘上任何非零的常数都不会改变射影变换的效果，在这九个元素中有八个独立比率，因为一个射影变换有八个自由度。

不变量：四共线点的交比。

总结

$$等距变换(3)+缩放(1)=相似变换(4)+新缩放方向(1)+缩放比例(1)=仿射变换(6)+v(2)=射影变换(8)$$
射影变换可以分解成一串变换链的复合：

其中$A=sRK+t{V}^T/v$，$K$是行列式为1的归一化上三角矩阵。

$H_S,H_A,H_P$分别是相似变换、仿射百年换、射影变换

一个分解的实例：

可以被分解为：

---

消除平面透视图象的摄影失真

有些东西形状的变化，比如原本是矩形，在图片中却变成了平行四边形，原本平行的线变得不平行，且相交于一个有限点。

此时，已知平面的中心投影图像和原来的图像是通过射影变换$H$相关联的，所以这个图像就是原景物的射影失真，通过求$H$的逆变换就能还原到原图，撤销射影变换的影响。

这是2D到2D，投影是3D到2D

方法：

找两个图片的对应坐标，但是咱也不知道点啊？是手动把照片跳过去，然后求$H$？ 坐标系按照 中心投影图 那样，从左下角开始，作为原点？
还是说找四个本应平行的点，设为平行？要不写个代码看看行否
答:需要四个点,可以再原图取四个点,然后根据想要的关系设置对应的点,例子可以看后面的代码

假设两个平面有一对匹配点$x,x^{\prime }$，对应的非齐次坐标是$(x,y{)}^T,(x^{\prime },y^{\prime }{)}^T$，两个平面间的射影变换可写成如下非齐次形式：

一组点可以提供两个方程，简化后：

$H$有八个参数，所以四个点就可以求出来$H$的解，但是这四个点不能太特殊，比如共线。

这是最一般的方法，使用最小二乘就能求出来，而且现在也能直接用opencv来求

---

代码

import cv2
import numpy as np
import matplotlib.pyplot as plt

img = cv2.imread('C:\\Users\\saber\\Desktop\\CS231A\\python\\aa.png')
fig, ax = plt.subplots(2,3)
rows,cols = img.shape[:2]


# 原图
ax[0][0].imshow(img)
ax[0][0].set_title('original')


# 等距变换
H = np.float32([[1,0,100],[0,1,50]])
# 注意行列顺序
iso_t = cv2.warpAffine(img,H,(cols,rows))
ax[0][1].imshow(iso_t)
ax[0][1].set_title('iso')

# 缩放
# 想直接用比例就要在第二个参数设置None，这个是控制resize后大小的
scale = cv2.resize(img,None,fx=2,fy=2,interpolation=cv2.INTER_CUBIC)
ax[0][2].imshow(scale)
ax[0][2].set_title('scale')

# 旋转
# 参数为：旋转中心、旋转角度(逆时针)、缩放比例
rot_matrix = cv2.getRotationMatrix2D((cols/2,rows/2),90,1)
rot = cv2.warpAffine(img,rot_matrix,(cols,rows))
ax[1][0].imshow(rot)
ax[1][0].set_title('rot')

# 仿射
# 仿射需要三个点对应起来
# 109，50 对 109 50
# 63 272 对 109 272
# 256 50 对 256 50
point_1 = np.float32([[109,50],[63,272],[256,50]])
point_2 = np.float32([[109,50],[109,272],[256,50]])
Aff_mat = cv2.getAffineTransform(point_1,point_2)
Aff = cv2.warpAffine(img,Aff_mat,(cols,rows))
ax[1][1].imshow(Aff)
ax[1][1].set_title('Aff')

# 透视
# 透视需要四个点
poi_1 = np.float32([[109,50],[63,272],[256,50],[300,272]])
poi_2 = np.float32([[109,50],[109,272],[256,50],[256,272]])
Per_mat = cv2.getPerspectiveTransform(poi_1,poi_2)
Per = cv2.warpPerspective(img,Per_mat,(cols,rows))
ax[1][2].imshow(Per)
ax[1][2].set_title('Per')

plt.show()

$$结果图$$