极几何理论

摄像机的标定

1. 齐次坐标
   齐次坐标用n+1维向量表示n维坐标
   在欧式坐标下，旋转和缩放可以通过乘以变换矩阵实现，但平移只能通过向量加法
   而齐次坐标系多出来的维度可以把平移操作也对应一个变换矩阵，方便实现图像之间的映射关系
2. 摄像机坐标转为像素坐标
   

5. 世界坐标转为摄像机坐标
   
   

字符	说明	维度
p’	像素坐标系下，齐次坐标，	3*1
p	摄像机坐标系下，齐次坐标，	4*1
k	内部参数矩阵	3*3
I	单位矩阵	3*3
0	零向量	3*1
R	世界坐标系到摄像机坐标系旋转矩阵	3*3
T	世界坐标系到摄像机坐标系平移矩阵	3*1
pw	世界坐标系下坐标	3*1

目的是求解出M矩阵，也就是11个变量：
内参数个数=5（角度 cx cy α β）
外参数个数=6（旋转矩阵3个自由度，平移向量T三个自由度）
内参数+外参数=11
选取六个点，共有12个方程去计算11个参数，是一个线性方程组Pm=0，来达到标定相机的目的
要转为优化问题近似等式，限制m的模=1
奇异值分解P （[12,3]->[12,12] [12,3] [3,3]=UαV）,最小值在m等于（α的最小奇异值的右特征向量）时取到

影消点影消线

1. 定理:二维点的齐次坐标[x,y,0]点在线ax+by+c=0上 <=>[x,y,0]^T[a,b,c]=0

2. 无穷远点[x,y,0]、无穷远线[0,0,1]：
   2.1无穷远点是两条直线的交点
   2.2所有的无穷远点都在一条无穷远线上
   2.3无穷远点经过透视变换就不是无穷远点(线)，但经过仿射变换就还是无穷远点（线）

3. 影消点和直线方向的关系
   

4. 影消线和平面法向量的关系

5. 两组平行线的夹角和影消点关系
   其中d=式子用了之前，直线d与影消点v的关系
   

重建基础

单视图重构弊端

不能确定世界坐标系下物体的实际深度，只能确定点在一条三维线上
所以介绍了双目摄像机模型

双目摄像机模型

世界坐标系下的点，分别映射在两个摄像机中的像素坐标是不同的，由此，点被确定在两条线上，线相交则为该世界坐标系点

重投影误差

估计一个世界坐标系下的点坐标，将此点投影到各个摄像机的像平面上，在各个像平面上，投影点和实际观测点的距离之和就是重投影误差

极几何：

极几何：极平面、极点、极线、基线、成像平面
由：摄像机1，摄象机2，世界坐标系下的点P，三点相连构成一个三角形
极平面：三角所在的面为极平面
成像平面：在透镜的两边，分别是物体通过透镜的成像与物体，为了计算方便，把透镜后面的成像面按透镜中心对称到透镜的前面，这个平面叫像平面
基线：两个摄影机的连线为基线
极点：基线和成像平面的交点
极线：极平面和成像平面的交线

极几何的作用是：在寻找一个点所对应的像素坐标时，将搜寻范围确定在极线内

本质矩阵和基础矩阵

本质矩阵

1. 定义：不考虑各个摄象机的内参数（规范化摄象机）的情况下，世界坐标下的p点分别投影到：摄像机1像素平面上的p1点，摄像机2像素平面上的p2点。p1与p2之间的变换矩阵，就是本质矩阵
2. 公式推导：
   记E为本质矩阵

基础矩阵

1. 定义：考虑摄像机内参数（矩阵K）后，两个成像平面点之间的变换矩阵
2. 公式推导：
   a. 先将摄像机转为规范化的

b. 规范下的坐标按本质矩阵的关系式:

c. 记F为基础矩阵：

d.性质：

基础矩阵估计

1. 构建M矩阵
   
2. 用归一化的8点算法，建立线性方程组，转为最小二乘优化问题min||Mf||（f为奇异化M后的最小特征值对应的右特征向量）
3. 执行F秩为2的约束