上位机图像处理和嵌入式模块部署（树莓派4b与视觉slam十四讲）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】

        实际使用中，树莓派4b是非常好的一个基础平台。本身板子价格也不是很贵，建议大家多多使用。之前关于vslam，也就是视觉slam，有一本书很火，叫《视觉slam十四讲》。它里面就谈到了很多第三方库的安装，这些库其实都是可以在树莓派4b上面运行的。这样有了4b这样的开发板，大家就不需要反复打开和关闭虚拟机来运行linux了。

1、安装cmake

        cmake本身树莓派4b是不带的，但是slam的一些第三方库编译需要它，所以直接sudo安装，

sudo apt-get install cmake

2、《视觉slam十四讲》github代码

        很多同学只看书不实操，这是不对的。针对书中代码部分，是要反复研习的。好在作者提供了相应的github地址，

https://github.com/gaoxiang12/slambook

3、安装eigen库

        eigen是很基础的矩阵库，里面的加、减、乘、除、求逆、转置，我们都会用到。这里也是同样的直接用sudo安装的，

sudo apt-get install libeigen3-dev

        安装好之后，就可以用一个十四讲里面的demo代码验证一下，

g++ eigenMatrix.cpp -I/usr/include/eigen3 -g -o eigenMatrix

4、安装sophus库

        十四讲里面的sophus库是非模板类，我们使用的sophus库是基于模板类的，就是这一点小小的区别。代码下载的地址如下所示，选择默认分支即可，

https://github.com/strasdat/Sophus

        有了代码，下面就可以准备编译了，

(a) 删除CMakeLists.txt中的-Werror
(b) sudo apt-get install libfmt-dev
(b) make build, cd build, cmake ..
(c) make
(d) sudo make install

        编译过程不算复杂，就是在4b上面编译的时间比较长一点。最后，因为我们安装的sophus库是基于模板类的，所以只能从其他地方找demo代码编译，比如这里，

https://www.cnblogs.com/xkbl-blogs/p/14458669.html

        编译的话，可以直接用g++编译，

g++ demo.cpp -I/usr/include/eigen3 -I/usr/local/include -g -o demo -lfmt

        本身sophus库是用来解决李群、李代数的问题。而李群、李代数又是为了解决矩阵求导的问题，大家把它当成一个数学工具，记住结论并且会解决问题就好。至于推导的过程，暂时看不懂，也没有关系。

        当然，如果大家还是想使用之前十四讲sophus的demo测试代码，其实修改下就好了，

#include <iostream>
#include <cmath>
#include <Eigen/Core>
#include <Eigen/Geometry>
#include "sophus/se3.hpp"

using namespace std;
using namespace Eigen;

/// 本程序演示sophus的基本用法

int main(int argc, char **argv) {

  // 沿Z轴转90度的旋转矩阵
  Matrix3d R = AngleAxisd(M_PI / 2, Vector3d(0, 0, 1)).toRotationMatrix();
  // 或者四元数
  Quaterniond q(R);
  Sophus::SO3d SO3_R(R);              // Sophus::SO3d可以直接从旋转矩阵构造
  Sophus::SO3d SO3_q(q);              // 也可以通过四元数构造
  // 二者是等价的
  cout << "SO(3) from matrix:\n" << SO3_R.matrix() << endl;
  cout << "SO(3) from quaternion:\n" << SO3_q.matrix() << endl;
  cout << "they are equal" << endl;

  // 使用对数映射获得它的李代数
  Vector3d so3 = SO3_R.log();
  cout << "so3 = " << so3.transpose() << endl;
  // hat 为向量到反对称矩阵
  cout << "so3 hat=\n" << Sophus::SO3d::hat(so3) << endl;
  // 相对的，vee为反对称到向量
  cout << "so3 hat vee= " << Sophus::SO3d::vee(Sophus::SO3d::hat(so3)).transpose() << endl;

  // 增量扰动模型的更新
  Vector3d update_so3(1e-4, 0, 0); //假设更新量为这么多
  Sophus::SO3d SO3_updated = Sophus::SO3d::exp(update_so3) * SO3_R;
  cout << "SO3 updated = \n" << SO3_updated.matrix() << endl;

  cout << "*******************************" << endl;
  // 对SE(3)操作大同小异
  Vector3d t(1, 0, 0);           // 沿X轴平移1
  Sophus::SE3d SE3_Rt(R, t);           // 从R,t构造SE(3)
  Sophus::SE3d SE3_qt(q, t);            // 从q,t构造SE(3)
  cout << "SE3 from R,t= \n" << SE3_Rt.matrix() << endl;
  cout << "SE3 from q,t= \n" << SE3_qt.matrix() << endl;
  // 李代数se(3) 是一个六维向量，方便起见先typedef一下
  typedef Eigen::Matrix<double, 6, 1> Vector6d;
  Vector6d se3 = SE3_Rt.log();
  cout << "se3 = " << se3.transpose() << endl;
  // 观察输出，会发现在Sophus中，se(3)的平移在前，旋转在后.
  // 同样的，有hat和vee两个算符
  cout << "se3 hat = \n" << Sophus::SE3d::hat(se3) << endl;
  cout << "se3 hat vee = " << Sophus::SE3d::vee(Sophus::SE3d::hat(se3)).transpose() << endl;

  // 最后，演示一下更新
  Vector6d update_se3; //更新量
  update_se3.setZero();
  update_se3(0, 0) = 1e-4;
  Sophus::SE3d SE3_updated = Sophus::SE3d::exp(update_se3) * SE3_Rt;
  cout << "SE3 updated = " << endl << SE3_updated.matrix() << endl;

  return 0;
}

5、安装opencv

        这部分虽然前面的文章提供了相应的步骤，这里不妨重新温习一下。安装方法就是直接sudo安装，

sudo apt-get install libopencv-dev

        编译方法就是用g++编译，不过要添加上头文件和lib文件，

g++ imageBasics.cpp -o imagesBasics -I /usr/include/opencv4/ -L /usr/lib/ -lopencv_core -lopencv_imgcodecs -lopencv_highgui -lopencv_imgproc

6、ceres库

        ceres和下面要讲的g2o都是一种数据优化方法。一般来说，我们构建好一个损失函数之后，都不是通过数学方法直接计算的，大部分情况都是通过优化方法步步逼近解决的。如果不使用优化方法，指望穷举来找到最优值，花费的时间就太多了，无法满足实时处理的要求。

        好在ceres可以直接用sudo安装，这样方便一点，

sudo apt-get install libceres-dev

        安装后，就可以在/usr/include和/lib/aarch64-linux-gnu下面看到相应的头文件、lib文件了。这个时候就可以用g++直接编译了，

g++ main.cpp -o main -I/usr/include/opencv4/ -I/usr/include/eigen3  -I/usr/local/include -L/usr/lib/ -lopencv_core -lopencv_imgcodecs -lopencv_highgui -lopencv_imgproc -lceres -lglog

7、g2o库的编译和使用

        g2o，也就是图优化，是目前用的比较多的一种优化方法。因为没有通过sudo apt-cache search找到对应的安装库，所以就自己下载代码来处理了。代码可以从这个地方下载，

https://github.com/RainerKuemmerle/g2o

        编译也没有什么复杂的，整个过程除了时间长一点，没有遇到什么困难，

(a) 解压文件
(b) mkdir build
(c) cd build 
(d) cmake ..
(e) make
(f) make install

        安装好了库之后，接下来就可以编译、运行示例程序了。编译时，就是选项多了一点，其他都还好，

g++ main.cpp -o main -I/usr/include/opencv4/ -I/usr/include/eigen3  -I/usr/local/include -L/usr/lib/ -lopencv_core -lopencv_imgcodecs -lopencv_highgui -lopencv_imgproc -lg2o_core -lg2o_stuff

        最后运行的时候，我们发现找不到动态库，这个时候就要重新配置一下LD_LIBRARY_PATH，

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

        至此，g2o也算是用起来了。

8、总结

        当然，不光上面这些内容，树莓派4b还有可能安装一些其他的内容，比如说qt、ros、pcd点云库等等。不管是什么需求，我们努力去安装就好了，逢山开路、遇水搭桥，只有用树莓派4b解决越来越多的专业问题，才能体现我们软件的价值所在，而不是在低端的领域反复做一些造轮子的事情。

        十四讲的1-6章非常重要，在作者的另外一本书《自动驾驶与机器人的slam技术》中也大量使用，有兴趣的同学可以去看看，会有不少的收获。