Stereo Matching 系列笔记

Camera Calibration

Homogeneous Coordinates

• 齐次坐标
• 对于一个2D空间里的点
  
  • 笛卡尔坐标$(X, Y)$
  • 齐次坐标$(x, y, w)$
  • $X = \frac{x}{w}, Y = \frac{y}{w}$
  • 两条平行直线可以相交在$(x,y,0)$
• 三维空间中（笛卡尔坐标）
  
  • 向量$\overrightarrow{v}=(a,b,c)$: $\overrightarrow{v}=a\overrightarrow{x}+b\overrightarrow{y}+c\overrightarrow{z}$
  • 点$\overrightarrow{v}=(a,b,c)$: $\overrightarrow{v}=a\overrightarrow{x}+b\overrightarrow{y}+c\overrightarrow{z} + O$
• 使用齐次坐标将点与向量统一
  
  • 向量：$(a,b,c,0) \times (\overrightarrow{x},\overrightarrow{y},\overrightarrow{z},O)^T$
  • 点：$(a,b,c,1) \times (\overrightarrow{x},\overrightarrow{y},\overrightarrow{z},O)^T$
  • 对于一个点，$(wa,wb,wc,w)$也表示同一个点
• 用矩阵表示变换
  
  • 平移：$\overrightarrow{y}=\overrightarrow{x}+\overrightarrow{b}$
  • 
    $$\left[ \begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_n \\ 1 \end{matrix} \right] = \left[ \begin{matrix} 1 & 0 & \cdots & 0 & b_1 \\ 0 & 1 & \cdots & 0 & b_2 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & 1 & b_n \\ 0 & 0 & \cdots & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x_1 \\ x_2 \\ \vdots \\ x_n \\ 1 \end{matrix} \right]$$

A Calibrator with OpenCV

系统函数

cv::calibrateCamera

double calibrateCamera
(
    inputArrayOfArrays objectPoints,
    inputArrayofArrays imagePoints,
    Size imageSize,
    inputOutputArray cameraMatrix,
    inputOutputArray distCoeffs,
    OutputArrayOfArrays rvecs,
    OutputArrayOfArrays tvecs,
    int flags = 0,
    TermCriteria criteria = TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 30, DBL_EPSILON)
)

• objectPoints

vector< vector<Point3f> > objectPoints;

有几张黑白板的照片，外层vector就有几个元素。
内层vector存放格点。尽管是三维坐标，但因为所有的格点都在板子上，因此可以把板子放在一个XY平面上，从而使每个格子的z坐标都是0.
方便起见，常用格点所在的行和列作为拐点的坐标。

• imagePoints

vector< vector<Point2f> > imagePoints;

存放格点在图像中的坐标。注意需满足：
objectPoints.size() == ImagePoints.size() 且 objectPoints[I].size() == imagePoints[I].size()

• imageSize

Size imageSize;

图片的大小，image.size()即可。

• cameraMatrix

Mat cameraMatrix;

用于输出$3 \times 3$的相机矩阵$\bigl[ \begin{smallmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{smallmatrix} \bigr]$。
注意若参数CV_CALIB_USE_INTRINSIC_GUESS或CV_CALIB_FIX_ASPECT_RATIO被声明，则$f_x,f_y,c_x,c_y$可能需要被预先声明。

• distCoeffs

Mat distCoeffs;

$(k_1, k_2, p_1, p_2[, k_3[, k_4, k_5, k_6]])$，输出4或5或8个元素。

• rvecs

vector<Mat> rvecs;

对每个图像计算出的旋转矩阵

• tvecs

vector<Mat> tvecs;

对每个图像计算出的平移矩阵（向量）。

• flags
  
  
• criteria
  迭代优化算法的终止条件。