abanchao的博客

多传感器融合一直是自动驾驶领域非常火的名词, 但是如何融合不同传感器的原始数据, 很多人对此都没有清晰的思路. 本文的目标是在KITTI数据集上实现激光雷达和相机的数据融合. 然而激光雷达得到的是3D点云, 而单目相机得到的是2D图像, 如何将3D空间中的点投影到图像平面上, 从而获得激光雷达与图像平面相交的区域, 是本文研究的重点. 其次本文会介绍相机这个大家常见的传感器, 以及讲解如何对相机进行畸变校准.

assess_node节点文件src/assess_calibration.cpp用途：读取标定结果，提前一组图像/点云数据进行重投影，计算lidar——>camera变换矩阵，对点云进行投影和可视化。

两套计算内容，旋转矩阵、变化矩阵。先优化求解最优旋转矩阵，再以此为初始值，优化旋转矩阵和平移向量，提高精度。设置遗传算法的适应函数、交叉、变异、评估精度、初始化基因。​先对特征点提取和优化过程进行了梳理，见博客：​​​​​​​​​​​​​​​​​​​cam_lidar_calibration代码详解（一）采样优化部分_可见一班的博客-CSDN博客这篇博客主要对优化计算的过程及代码进行整理，用到的是遗传算法。主要包含3个文件：openga.h，遗传算法的实现optimiser.h，定义旋转矩阵

cam_lidar_calibration代码采样优化部分进行详细解释，注意包括 FeatureExtractor中的各个函数。激光雷达板的误差超过真值的10%，则拒绝该采样。说明该次截取的点云检测效果不佳。终端报错"Plane fitting error, LiDAR board dimensions incorrect; discarding sample - try capturing again"

Ubuntu 20.04 + Noetic用camera_lidar_calibration标定激光雷达和相机。激光雷达：速腾聚创32线激光雷达 RS-LIDAR-32单目相机：acA1920-40gc（GigE接口）

ROS功能包camera_calibration标定相机内参，--size 10x7： 为当前标定板的内点数量，即内部小正方形角点的交点--square 0.05：为每个小棋盘格的边长，单位是米image:=/camera_raw：标定当前订阅图像来源自名为/camera/image_raw的topiccamera:=/camera_raw：为摄像机名通过不停的移动标定板：直到X、Y、Size、Skew四个都变成绿色，点击“CALIBRATE”界面卡住，开始计算标定，完成后可点击“save”进行保存，

相机型号：acA1920-40gc（GigE接口）触发方式：GNSS的PPS硬触发运行环境：Ubuntu20.04 （64-Bit）程序依赖：pylon Release 6.3.0。先调试出来相机外部硬触发，并且可以由ROS采集图像。编写符合sensor_msgs/CameraInfo格式的camera_info话题

分辨率、焦距、视场角、帧率等等，但是刚入门的我们不知道多大的指标够用。我认为先初步理解原理和意义，有相机型号后进行推算验证更合理。课题的多传感器系统是否需要时间同步，以及同步方式。（硬触发时间同步精度更高）是否需要二次开发，是否需要可靠的技术支持。（通常大品牌会提供SDK程序包）相机质量是否稳定，是否有售后保障。（市场占有率越高，质量越稳定）注意数据接口。（USB2.0的不能硬触发；速率慢）

basler相机硬触发配置，pylon viewer保存多张图像，basler相机二次开发，c++转换图像格式并发送topic

Ubuntu20.04读取basler相机图像，用matlab 202b进行标定，运行环境：Ubuntu20.04（64-Bit）ROS版本：Noetic网卡型号：Realtek RTL 8156外置网卡相机型号：acA 1920-25gc （GigE接口）驱动版本：pylon_6.3.01 准备工作1.1 检查网卡1.2 检查通信2 用SDK驱动读取图像2.1 安装驱动2.2 遇到的问题及解决方法2.3使用方法2.3.1 编译驱动程序2.3.2 运行程序2.3.3 查看图像...

笔记本电脑使用usb转RJ45接口的外置网卡，型号为RTL8156，Ubuntu20.04安装网卡RTL8156驱动，使用巨型帧传输工业相机图像。

Windows10 （64-Bit）运行软件：pylon Viewer 64-Bit，pylon Release 6.3.0采集basler相机acA 1920-25gc的图像流程及步骤，又侧图像区域空白或绿色的解决方法。​对角灰色渐变条纹是相机的测试图像，相机的 Test Images功能可让您检查相机的基本功能及其传输图像的能力。测试图像可用于维护目的和故障诊断。它们是由相机本身生成的。因此，相机的光学元件或成像传感器未参与其创建。