Ceres Solver 官方教程学习笔记（五）——光束法平差Bundle Adjustment

本文链接：https://blog.csdn.net/wzheng92/article/details/79714857

本文主要根据Ceres官方教程翻译的来。

开发Ceres库的一个重要出发点就是计算光束法平差Bundle Adjustment，简称BA。
关于光束法平差的原理可以参考这篇博客《Bundle Adjustment简述》现简单的概况如下：

空间中一个点在成像平面的坐标系中投影成一个像素。这个投影称为初次投影。如果我们有多个相机，可以根据空间中同一点在不同相机中的投影（即像素坐标）来反向确定这个点的空间位置。然后使这个逆向计算出的空间点，再次向各个相机投影，如此我们会再次得到对应的像素。这个投影称为重投影。因为逆向计算是有误差的，相机矩阵也不是完全精准的。所以这个重投影和初次投影的位置往往是有微小偏差的。最理想的参数应该使空间点的初次投影和重投影的偏差尽可能小。如果我们有很多这样的数据，我们就可以通过优化的方法确定参数。这就是光束法平差的基本原理。具体计算可以参看上面提到的博客。

Ceres对BA的介绍如下：
给定一系列测得的图像，包含特征点位置和对应关系。BA的目标就是，通过最小化重投影误差，确定三维空间点的位置和相机参数。这个优化问题通常被描述为非线性最小二乘法问题，要最小化的目标函数即为测得图像中特征点位置和相机成像平面上的对应的投影之间的差的平方。Ceres例程使用了BAL数据集。

第一步依然使定义一个模板functor来计算残差，在这个问题中也就是的重投影误差。每个残差值依赖于空间点的位置（3个参数）和相机参数（9个参数）。九个相机参数包含用Rodriques’ axis-angle表示的旋转向量（3个参数），平移参数（3个参数），以及焦距和两个径向畸变参数。相机模型的详细描述也可以在BAL的主页找到。

具体代码如下：

struct SnavelyReprojectionError {
  SnavelyReprojectionError(double observed_x, double observed_y)
      : observed_x(observed_x), observed_y(observed_y) {}
   // 读入两个参数，空间点在成像平面上的位置，并赋值。

  template <typename T>
  bool operator()(const T* const camera,
                  const T* const point,
                  T* residuals) const {
                  // 重载操作符（）
    // camera[0,1,2] are the angle-axis rotation.
    T p[3];
    ceres::AngleAxisRotatePoint(camera, point, p);
    // camera[3,4,5] are the translation.
    p[0] += camera[3]; p[1] += camera[4]; p[2] += camera[5];

    // Compute the center of distortion. The sign change comes from
    // the camera model that Noah Snavely's Bundler assumes, whereby
    // the camera coordinate system has a negative z axis.
    T xp = - p[0] / p[2];
    T yp = - p[1] / p[2];

    // Apply second and fourth order radial distortion.
    const T& l1 = camera[7];
    const T& l2 = camera[8];
    T r2 = xp*xp + yp*yp;
    T distortion = T(1.0) + r2  * (l1 + l2  * r2);

    // Compute final projected point position.
    const T& focal = camera[6];
    T predicted_x = focal * distortion * xp;
    T predicted_y = focal * distortion * yp;

    // The error is the difference between the predicted and observed position.
    residuals[0] = predicted_x - T(observed_x);
    residuals[1] = predicted_y - T(observed_y);
    return true;
  }

   // Factory to hide the construction of the CostFunction object from
   // the client code.
   static ceres::CostFunction* Create(const double observed_x,
                                      const double observed_y) {
     return (new ceres::AutoDiffCostFunction<SnavelyReprojectionError, 2, 9, 3>(
                 new SnavelyReprojectionError(observed_x, observed_y)));
   }

  double observed_x;
  double observed_y;
};

注意这个例子相较之前的例子比较复杂，用解析算法求解雅可比行列式非常困难。如果使用自动微分法就会容易很多。函数实现代码如AngleAxisRotatePoint()可以在include/ceres/rotation.h中找到。

functor完成之后，下一步依然是建立problem如下：

ceres::Problem problem;
for (int i = 0; i < bal_problem.num_observations(); ++i) {
  ceres::CostFunction* cost_function =
      SnavelyReprojectionError::Create(
           bal_problem.observations()[2 * i + 0],
           bal_problem.observations()[2 * i + 1]);
  problem.AddResidualBlock(cost_function,
                           NULL /* squared loss */,
                           bal_problem.mutable_camera_for_observation(i),
                           bal_problem.mutable_point_for_observation(i));
}

注意这里代码和曲线拟合的例子中类似，即为每个观测值增加一个残差块。

因为这是一个大规模稀疏矩阵，所以可以将Solver::Options::linear_solver_type设置成SPARSE_NORMAL_CHOLESKY，之后调用Solve()。另外Ceres还提供了三个专门的解算器供使用。这里的样例代码用了其中最简单的一个解算器，即DENSE_SCHUR。

ceres::Solver::Options options;
options.linear_solver_type = ceres::DENSE_SCHUR;
options.minimizer_progress_to_stdout = true;
ceres::Solver::Summary summary;
ceres::Solve(options, &problem, &summary);
std::cout << summary.FullReport() << "\n";