opencv 鱼眼相机模型原理及去畸变方法

opencv 鱼眼相机模型原理及去畸变方法

1. 官方文档地址

[官方文档地址点击这里](OpenCV: Fisheye camera model)

2. 命名空间

cv::fisheye

3. 详细描述鱼眼模型

设$P$为世界参照系中坐标$X$的三维点(存储在矩阵$X$中)。摄像机参照系中$P$的坐标向量为:
$$Xc=RX+T$$
其中$R$为旋转向量$or$对应的旋转矩阵($T$为平移矩阵):$R=rodrigues(om)$;称$x,y,z$为$Xc$的3个坐标:
$$\begin{gathered} x=X{c}_1 \\ y=X{c}_2 \\ z=X{c}_3 \end{gathered}$$
$P$的针孔投影坐标（归一化坐标）为$[a;b]$:
$$\begin{gathered} a=x/z \\ b=y/z \\ {r}^2=a^2+b^2 \\ \theta =atan(r) \end{gathered}$$

鱼眼畸变：
$${\theta }_d=\theta (1+k_1{\theta }^2+k_2{\theta }^4+k_3{\theta }^6+k_4{\theta }^8)$$
畸变点坐标为$[x^{\prime };y^{\prime }]$
$$\begin{gathered} x^{\prime }=({\theta }_d/r)a \\ {y}^{\prime }=({\theta }_d/r)b \end{gathered}$$
最后转换成像素坐标（重投影）:最终像素坐标向量$[u;v]$:

$$\begin{gathered} u=f_x(x^{\prime }+\alpha y^{\prime })+c_x \\ v=f_y{y}^{\prime }+c_y \end{gathered}$$
最后再最近邻插值即可去畸变。

4. 代码

#include <opencv2/opencv.hpp>

// 文件路径，如果不对，请调整
std::string input_file = "../fisheye.jpg";

int main(int argc, char **argv) {
  // 本程序实现鱼眼的等距投影去畸变模型
  // 畸变参数（本例设为零）
  double k1 = 0, k2 = 0, k3 = 0, k4 = 0;

  // 内参
  double fx = 689.21, fy = 690.48, cx = 1295.56, cy = 942.17;

  cv::Mat image = cv::imread(input_file);
  int rows = image.rows, cols = image.cols;
  cv::Mat image_undistort = cv::Mat(rows, cols, CV_8UC3); // 去畸变以后的图

  // 计算去畸变后图像的内容
  for (int v = 0; v < rows; v++)
    for (int u = 0; u < cols; u++) {

      double u_distorted = 0, v_distorted = 0;
      // 按照公式，计算点(u,v)对应到畸变图像中的坐标(u_distorted,v_distorted) (~6 lines)

      // start your code here
      //归一化平面
      double x = (u - cx)/fx;
      double y = (v - cy)/fy;

      //引入畸变
      double r = sqrt(x*x + y*y);
      double theta = atan(r);
      double theta_d = theta + k1*pow(theta, 3) + k2*pow(theta, 5) + k3*pow(theta, 7) + k4*pow(theta, 9);
      double x_distorted = theta_d*x/r;
      double y_distorted = theta_d*y/r;
      
      //重新投影到像素坐标
      u_distorted = (0.01*y_distorted+x_distorted)*fx + cx;
      v_distorted = y_distorted*fy + cy;
      // end your code here

      // 赋值 (最近邻插值)去畸变
      if (u_distorted >= 0 && v_distorted >= 0 && u_distorted < cols &&
          v_distorted < rows) {
        image_undistort.at<cv::Vec3b>(v, u) =
            image.at<cv::Vec3b>((int)v_distorted, (int)u_distorted);
      } else {
        image_undistort.at<cv::Vec3b>(v, u) = 0;
      }
    }

  // 画图去畸变后图像
  cv::imshow("image undistorted", image_undistort);
  cv::imwrite("fisheye_undist.jpg", image_undistort);
  cv::waitKey();

  return 0;
}

5.其它

其它的鱼眼模型的函数等请见opencv官方文档。