双目立体匹配 传统/深度 方法总结

总述

本篇简单记录自己一年的工作，作为一个总结。博主wx在底部，可拉你进群一起交流成长。

双目系列文章matlab标定1，C++实现校正匹配工作2，部分参考学习OpenCV 3 ¹

---

投影几何

针孔模型：

$$-x/f=X/Z$$ 在此作等价转换，将图像平面移至右边----相机o和物体P间，便于表达

而 芯片中心通常不在光轴上，引入两个新的参数$c_x和c_y$， 对投影屏幕中心可能存在的偏移进行建模。

将世界坐标点$P（X，Y，Z）$映射到相机平面上坐标点为 $q(x,y)$ 的过程称为 “ 射影变换 ”，可简单表述为：

$$\vec{q}=M\cdot \vec{P},where$$

透镜畸变

径向畸变 是由于透镜的形状（筒形）造成的；

切向畸变 是由整个相机的 组装过程 造成的，使透镜与成像平面不平行。

某点的径向位置可用$r=0$附近的泰勒级数展开式的前几项来描述。


共需要求出5个畸变系数，按顺序 $k_1,k_2,p_1,p_2,k_3$

---

在线生成标定板

标定板 https://calib.io/pages/camera-calibration-pattern-generator

---

标定

摄像机参数：一般一共15个相关参数：

（1）外参数6个：R 旋转3个参数；T 平移3个参数；

（2）内参数4个：$f_x，f_y，c_x，c_y;$

求解上述10个参数的前提是先假设每次的畸变参数为0；

（3）5个畸变参数：$k_1，k_2，p_1，p_2，k_3；$

其中（2）(3）为摄像机内参数，其中k3普通镜头不使用，鱼眼镜头要使用。

先看 R， T ：

相机拍摄的一个特定物体（世界坐标系），其相对于相机坐标系统的姿态可用 旋转 和 平移 进行描述。

三维旋转可拆解为绕每个轴的二维旋转，如依次绕