abanchao的博客

多传感器融合一直是自动驾驶领域非常火的名词, 但是如何融合不同传感器的原始数据, 很多人对此都没有清晰的思路. 本文的目标是在KITTI数据集上实现激光雷达和相机的数据融合. 然而激光雷达得到的是3D点云, 而单目相机得到的是2D图像, 如何将3D空间中的点投影到图像平面上, 从而获得激光雷达与图像平面相交的区域, 是本文研究的重点. 其次本文会介绍相机这个大家常见的传感器, 以及讲解如何对相机进行畸变校准.

在查看一个开源数据集时，点云信息格式为velodyne_msgs/VelodyneScan，无法在rviz中显示，需要转换为sensor_msgs/PointCloud2。主要的使用过程都在参考博客里写的很清楚，这里针对遇到的问题进行说明：1、不能使用VLP16_points.launch文件，根据激光雷达型号，从velodyne驱动包里找到相应的启动文件32e_points.launch2、但是没有显示点云，提示：Failed to transform from frame [/velodyne] t

assess_node节点文件src/assess_calibration.cpp用途：读取标定结果，提前一组图像/点云数据进行重投影，计算lidar——>camera变换矩阵，对点云进行投影和可视化。

两套计算内容，旋转矩阵、变化矩阵。先优化求解最优旋转矩阵，再以此为初始值，优化旋转矩阵和平移向量，提高精度。设置遗传算法的适应函数、交叉、变异、评估精度、初始化基因。​先对特征点提取和优化过程进行了梳理，见博客：​​​​​​​​​​​​​​​​​​​cam_lidar_calibration代码详解（一）采样优化部分_可见一班的博客-CSDN博客这篇博客主要对优化计算的过程及代码进行整理，用到的是遗传算法。主要包含3个文件：openga.h，遗传算法的实现optimiser.h，定义旋转矩阵

cam_lidar_calibration代码采样优化部分进行详细解释，注意包括 FeatureExtractor中的各个函数。激光雷达板的误差超过真值的10%，则拒绝该采样。说明该次截取的点云检测效果不佳。终端报错"Plane fitting error, LiDAR board dimensions incorrect; discarding sample - try capturing again"

Ubuntu 20.04 + Noetic用camera_lidar_calibration标定激光雷达和相机。激光雷达：速腾聚创32线激光雷达 RS-LIDAR-32单目相机：acA1920-40gc（GigE接口）

速腾激光雷达的ROS程序包可以输出XYZIRT格式，但是PCL库的点没有这种类型，需要进行自定义，并可以进行直通滤波和体素滤波等下采样处理。PCL中有两个函数直接解决了两者的转换关系：1.pcl::fromPCLPointCloud2()2.pcl::toPCLPointCloud2()//cloud_filtered转换为cloud_pass，从pcl::PCLPointCloud2格式转换为模板点云pcl::PointCloud\1、pcl::fromPCLPointCloud2

坐标轴定义：注意：坐标轴定义：注意：坐标轴定义：注意：坐标轴定义：原点在车体质心，XYZ轴的定义标准不同，与导航坐标系的东北天配套使用的话，使用右前上坐标系比较方便。X轴指向车体右方，Y轴指向车体前方，Z轴垂直XOY平面向上，构成右手笛卡尔坐标系。注意：ISO定义的车体坐标系在车辆动力学分析中较为常见；SAE定义的车体坐标系与航空航天领域常用的机体坐标系相一致；基于IMU定义的车体坐标系，则在IMU的相关应用中较为常见。我们选这个。坐标轴定义：坐标轴定义：设备本身的坐标系定义为右前上右手笛卡尔坐标系，

LiDAR是自动驾驶领域的重要传感器，LiDAR与IMU的外参是LiDAR局部坐标系与世界坐标系之间转换的桥梁，是数据使用的关键参数。LiDAR--IMU外参标定有以下几种方法。

速腾聚创激光雷达：RS-LIDAR-32华测导航接收机：CGI-610。一、LiDAR和IMU位姿标定为了获取更多的车前信息，将激光雷达向下倾斜一定角度安装。这样就会导致点云的Z坐标不对，前方离平台越远的点的Z轴坐标越大，甚至是个正值，这很不利于进行直通滤波等点云预处理。1.1安装角度标定在设计雷达安装结构的时候，设计了两个定位销，而且雷达是360°水平视角，暂不考虑点云yaw的安装误差，仅对pitch和roll进行标定。一种简单的半自动标定方法：

针对轨迹绘制问题，主要包含两个具体问题：其一，怎么让算法生成轨迹文件？其二，怎么使用EVO工具？A-LOAM算法作为最简单的激光SLAM算法，故本文以该算法为例进行学习和调试。安装evo，绘制kitti数据集真值轨迹，修改aloam代码生成tum格式的轨迹文件，用evo绘制所得轨迹

在ubuntu20.04系统下，使用速腾聚创官方提供的软件RSView，对激光雷达的默认IP地址、MSOP 包端口号、 DIFOP包端口号和时间模式等配置进行查看和修改。使用交换机对两个激光雷达进行组网，实现多激光雷达数据采集，并用RVIZ同时显示两个雷达点云。使用wireshark对比两个雷达数据包。

速腾激光雷达rslidar（rs16）采集数据，并将话题转换为velodyne的，运行A-LOAM算法对走廊和地下室建图。

使用rs lidar采集数据并录packet包，离线播放数据包，操作流程及方法

新手入门学习使用robosense激光雷达的基本操作步骤及流程