天才樱木

专注嵌入式和人工智能

学习视觉嘛,必须知道常用数学基础

单应矩阵,基本矩阵,本质矩阵

  • 参考barfoot 书 p195-

1.归一化图像坐标

  • 这里相机坐标系为,图像和坐标为O,这里假设焦距为1;图像坐标中心早光轴上。

  • 空间中点P在摄像机坐标系下的三维坐标:

  • 利用三角近似关系,P点的图像坐标(齐次坐标); 
    同时假设已知图像坐标,反推会发现只能得到空间坐标的两个约束关系,或者说Z可以是任意值都满足约束关系,即深度无法得到;

2.本质矩阵 essential matrix

2.1 本质矩阵的推导

  • 相机在不同时刻两帧图像同时观察到空间点P,如图:

  • P在两帧上的图像坐标满足几何约束:

  • 其中称为本质矩阵,其参数由运动的pose决定,与相机内参无关;本质矩阵在位姿估计和相机标定上很有用;

  • 约束关系的证明:

2.2特点

  • 描述空间中一点在不同帧之间的几何约束关系
  • 注意这里的图像坐标是空间点在相机平面投影点的齐次坐标(摄像机坐标系下表示)
  • 本质矩阵和相机外参有关系,和内参无关

3.相机内参

  • 这里采用假设焦距为1,图像中心在光轴上,图像像素坐标的原点图像左上角,像素坐标值单位都是像素(整数小格);

  • 像素坐标和归一化图像坐标(可以理解为空间点在平面投影几何坐标的齐次形式)的关系可以描述为:

  • K为相机内参矩阵,是焦距f的像素坐标,是图像中心与图像和光轴交点的偏置(理想情况应该两点重合);考虑到实际像素感光元是正方形的,参数应该对应近似相等;

4.基本矩阵 fundamental matrix

4.2基本矩阵推导

  • 将图像归一化坐标替换为像素点坐标,得到基本矩阵约束(极线约束 epipolar constraint)

  • 这里的基本矩阵约束称为极线约束,如下图,如果两帧之间的一个点坐标,外参矩阵已知,则空间点在另外一帧的坐标被约束在一条极线上,可以用来缩小图像匹配点的搜索范围
  • 基本矩阵也可以用来极端内参矩阵

4.1特点

  • 基本矩阵描述的是不同帧之间同一空间点像素坐标的几何约束关系,由本质矩阵约束中的归一化图像点替换为像素坐标点得到;
  • 基本矩阵和相机内参,外参都有关系
  • 基本矩阵描述的约束又称为极线约束

5.完整模型:空间点到像素坐标

  • 空间点在相机坐标系的坐标到像素坐标的转换关系: 
    P为齐次坐标到而为坐标的映射矩阵,这个模模型清晰的表示出深度信息的丢失,即无法从像素坐标估计出深度信息。

6.单应矩阵 homography matrix

  • 空间点三维坐标到像素坐标(齐次形式)的转换:

  • 如果已知观察的点在某个平面上,利用平面方程的先验信息可以估计出深度

  • 已知相机中心到平面距离和法向量,可以得平面的法线方程

  • 将空间坐标替换为像素坐标:

  • 替换掉,得到由像素齐次坐标到空间坐标的转换

  • 空间点在前后两帧坐标系下的三维坐标的约束关系

  • 带入第一个公式,得到两帧之间同一空间点的像素点坐标的约束关系

  • 将上述公式简写为:

  • 矩阵称为单应矩阵,其中用来度量图像的齐次坐标,可以去掉;所以单应矩阵是pose和平面参数的矩阵;


阅读更多
上一篇boost解析io转换成为imu_msgs
下一篇vscode 使用简单简绍
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭