《视觉slam十四讲》笔记及课后习题-第5讲-相机与图像

前言

这一讲主要讲解了基本的针孔相机模型，相机的内外参数，外加一个关于Opencv库的实践。

理论部分

本章理论本文较为简单，没有太多复杂的公式，主要通过几何关系来建立相关观测（拍摄）的物体在世界坐标系下的坐标与其对应的像素坐标间的联系，这个联系可以通过内、外参两个矩阵的乘积来描述，其中外参指物方点从世界坐标系到相机坐标系的转换关系，可以由变换矩阵$T$描述，内参指物方点从相机坐标系到像素平面的转换关系，其描述矩阵设为$K$

针孔相机模型

相机坐标系定义，从摄像者视角往前为$z$，$x$向右$y$向下构成右手系

可由相似三角形建立如下关系

负号表示成倒立的像，我们对图像进行预处理，使其方向为正，则

也即

像素坐标系的起点往往定义在图像的左上角（摄像者视角），，像素平面与城乡平键之间，差了一个缩放与原点的平移，可以表示如下

写成矩阵形式

由于等式左边是齐次坐标，因此尺度因子$1/Z$对像素的值没有影响，将$1/Z$合并入向量$[XYZ{]}^T$中得到$[X/ZY/Z1{]}^T$，这说明，只要X/Z和Y/Z不变，则不论Z如何变化，等到的像素值都相同。

式中$K$就是内参，结合内外参，总的变换关系如下

若如我们把相机坐标系下的坐标进行归一化处理，也即

则可以得到

相机畸变

为了产生更好的成像效果，相机前面增加了透镜，这会带来两个方面的影响，一是透镜本身对光有折射影响，而是组装过程中透镜平面和成像平面不可能完全平行。前者会产生径向畸变，后者会引起切向畸变


对于径向畸变，可以用半径的多次项来建模，

对于切向畸变，可以如下校正 目前不是很理解

上述x、y都是归一化平面上的点。如果已经获得了畸变参数，一般使用如下三步法来校正畸变

一般先将整张图像去畸变处理，再来讨论图像点的空间位置

实践部分

opencv库的安装

本文是在windows10 子系统ubantu18.04中安装，安装过程中遇到了许多问题
先装依赖库，按照书中给出的一次性安装，会提示几种不同类型的错误，因此独立安装

sudo apt-get install build-essential libgtk2.0-dev libvtk5-dev libjpeg-dev libtiff4-dev libjasper-dev libopenexr-dev libtbb-dev

独立安装添加链接描述

sudo apt-get install build-essential
sudo apt-get install libgtk2.0-dev
sudo apt-get install libvtk5-dev
sudo apt-get install libjpeg-dev
sudo apt-get install libtiff4-dev
sudo apt-get install libjasper-dev
sudo apt-get install libopenexr-dev
sudo apt-get install libtbb-dev

报错如下：1、libvtk5-dev和libtiff4-dev库提示找不到文件，并给出建议安装libvtk6-dev和libtiff5-dev
2、libjasper-dev库提示不能定位包
解决如下：1、按照建议安装即可
2、主要是因为libjasper-dev会依赖库libjasper1-dev，参考libjasper-dev库安装成功安装，具体做法：
将源地址进行添加更新，依次执行以下三行

sudo add-apt-repository "deb http://security.ubuntu.com/ubuntu bionic-security main"
sudo apt update
sudo apt-get install libjasper-dev libjasper1-dev

此时cmake成功，但是make环节报错如下：

usr/include/c++/7/cstdlib:75:25: fatal error: stdlib.h: 没有那个文件或目录

参考通过屏蔽预编译头解决，具体做法是在cmake环节加入-DENA[添加链接描述](https://blog.csdn.net/xinyu391/article/details/72867510)BLE_PRECOMPILED_HEADERS=OFF，命令如下
cmake -DENABLE_PRECOMPILED_HEADERS=OFF ..,接着make，make install 即可

QT中测试opencv

QT可以直接导入cmake工程，通过 工程-打开或导入工程，选择CMakeLists.txt文件即可导入。
测试程序如下，拼接点云

#include <iostream>
#include <fstream>
using namespace std;
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <Eigen/Geometry> 
#include <boost/format.hpp>  // for formating strings
#include <pcl/point_types.h> 
#include <pcl/io/pcd_io.h> 
#include <pcl/visualization/pcl_visualizer.h>

int main( int argc, char** argv )
{
    vector<cv::Mat> colorImgs, depthImgs;    // 彩色图和深度图
    vector<Eigen::Isometry3d, Eigen::aligned_allocator<Eigen::Isometry3d>> poses;         // 相机位姿
    
    ifstream fin("./pose.txt");
    if (!fin)
    {
        cerr<<"请在有pose.txt的目录下运行此程序"<<endl;
        return 1;
    }
    
    for ( int i=0; i<5; i++ )
    {
        boost::format fmt( "./%s/%d.%s" ); //图像文件格式
        colorImgs.push_back( cv::imread( (fmt%"color"%(i+1)%"png").str() ));
        depthImgs.push_back( cv::imread( (fmt%"depth"%(i+1)%"pgm").str(), -1 )); // 使用-1读取原始图像
        
        double data[7] = {0};
        for ( auto& d:data )
            fin>>d;
        Eigen::Quaterniond q( data[6], data[3], data[4], data[5] );
        Eigen::Isometry3d T(q);
        T.pretranslate( Eigen::Vector3d( data[0], data[1], data[2] ));
        poses.push_back( T );
    }
    
    // 计算点云并拼接
    // 相机内参 
    double cx = 325.5;
    double cy = 253.5;
    double fx = 518.0;
    double fy = 519.0;
    double depthScale = 1000.0;
    
    cout<<"正在将图像转换为点云..."<<endl;
    
    // 定义点云使用的格式：这里用的是XYZRGB
    typedef pcl::PointXYZRGB PointT; 
    typedef pcl::PointCloud<PointT> PointCloud;
    
    // 新建一个点云
    PointCloud::Ptr pointCloud( new PointCloud ); 
    for ( int i=0; i<5; i++ )
    {
        cout<<"转换图像中: "<<i+1<<endl; 
        cv::Mat color = colorImgs[i]; 
        cv::Mat depth = depthImgs[i];
        Eigen::Isometry3d T = poses[i];
        for ( int v=0; v<color.rows; v++ )
            for ( int u=0; u<color.cols; u++ )
            {
                unsigned int d = depth.ptr<unsigned short> ( v )[u]; // 深度值
                if ( d==0 ) continue; // 为0表示没有测量到
                Eigen::Vector3d point; 
                point[2] = double(d)/depthScale; 
                point[0] = (u-cx)*point[2]/fx;
                point[1] = (v-cy)*point[2]/fy; 
                Eigen::Vector3d pointWorld = T*point;
                
                PointT p ;
                p.x = pointWorld[0];
                p.y = pointWorld[1];
                p.z = pointWorld[2];
                p.b = color.data[ v*color.step+u*color.channels() ];
                p.g = color.data[ v*color.step+u*color.channels()+1 ];
                p.r = color.data[ v*color.step+u*color.channels()+2 ];
                pointCloud->points.push_back( p );
            }
    }
    
    pointCloud->is_dense = false;
    cout<<"点云共有"<<pointCloud->size()<<"个点."<<endl;
    pcl::io::savePCDFileBinary("map.pcd", *pointCloud );
    return 0;
}

其中函数使用了`OpenCV、矩阵库Eigen、boost库、点云库PCL，因此CMakeLists.txt文件如下

cmake_minimum_required(VERSION 2.8)

project(joinMap)

set( CMAKE_CXX_FLAGS "-std=c++11 -O3" )
set( CMAKE_BUILD_TYPE Release )
#openCV
find_package(OpenCV  REQUIRED)
INCLUDE_DIRECTORIES(${OpenCV_INCLUDE_DIRS})

#eigen
INCLUDE_DIRECTORIES("/usr/include/eigen3/")

#boost
#find_package(Boost  REQUIRED)
#INCLUDE_DIRECTORIES(${Boost_INCLUDE_DIRS})
#message( "BOost dir ${Boost_INCLUDE_DIRS}")

#pcl
find_package(PCL REQUIRED COMPONENT common io)
INCLUDE_DIRECTORIES(${PCL_INCLUDE_DIRS})
add_definitions(${PCL_DEFINITIONS})

add_executable(${PROJECT_NAME} "joinMap.cpp")
target_link_libraries(${PROJECT_NAME} ${OpenCV_LIBS} ${PCL_LIBRARIES})

问题：为什么Boost库不需要在CMakeLists.txt中包含
如果是运行带有参数的主函数，则可以在项目-运行中给定参数，如参数为文件相对地址则需要注意选定合适的工作路径（路径前缀）