3D资料学习

自动驾驶或3D检测的两种方案：
1、基于激光雷达的点云数据目标检测，准确率高但是成本高
2、基于视觉的 3D 目标检测，如单目 3D 目标检测研究较多

自动驾驶数据集

KITTI：由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线的360度3D激光雷达，4个光学镜头，以及1个GPS导航系统
nuscene：一共配备了6个相机、一个LiDAR、5个RADAR

3D点云数据

点云数据（point cloud data）是指在一个三维坐标系统中的一组向量的集合。
扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息（RGB）或反射强度信息（Intensity）
数据的格式，就是(x,y,z)*n
点云数据格式介绍1
点云数据格式的可视化
点云数据是3D激光雷达扫描仪的基本输出。这通用的点云数据文件形式是3D坐标文件(经常指一个xyz文件)。这些文件是ASCII，因此可以被所有的后处理软件读取。这些像素在一个3D灰度文件里面是如下形式
灰度像素点云数据：X1， Y1， Z1，灰度值1； X2， Y2， Z2，灰度值2
同样的，这些像素在一个rgb文件里面是如下形式
彩色点云数据：X1, Y1, Z1, r1, g1, b1；X2 , Y2, Z2, r2, g2, b2

图像于点云坐标

图像的坐标轴和点云的坐标轴是不同的，下图显示了蓝色的图像轴和橙色的点云轴

关于图像坐标轴：
1、图像中的坐标值总是正的。
2、原点位于左上角。
3、坐标是整数值。

关于点云坐标轴：
1、点云的坐标值可以是正数也可以是负数。
2、坐标是实数。
3、正X轴代表前方。
4、正Y轴代表左边。
5、正Z轴代表上方

点云转换为鸟瞰图

如上图，鸟瞰图中的点云的相关轴为X和Y轴。同时，要考虑以下几点：
1、X和Y轴意味着是相反的
2、X和Y轴指向相反方向的
3、将点云的数值转换到图像上，使得(0, 0)是图像中最小的值。
转换完成的鸟瞰图只有一个通道，即每个位置的高度?
过程及代码详解：添加链接描述

RGBD

从上图我们可以看到物体的深度 Z、相机的焦距 f、物体的实际高度 H 和物体在图像平面上投影的 h 之间由几何相似性可以得出一个几何投影模型

3D点云目标检测

待补充
一文览尽基于激光雷达点云（lidar）的目标检测方法

单目3D检测

centerNet3D Fcos3D

相机的内参外参

salm或自动驾驶中，已知物体在图像中的像素坐标，要求出该物体在实际空间中的的物理坐标。转换过程如下：
像素坐标->图像坐标->相机坐标->世界坐标
上面三个箭头表示转换三次，就是三个矩阵，前两个转换都是相机内部的事情，可以合并成一个叫相机内参，最后一个相机坐标到世界坐标的转换矩阵是外参


实际操作中，比如自动驾驶，世界坐标以车辆后轴中心为坐标原点，此时可以把Zw设成0，那么外参矩阵T退化成了3乘3矩阵，这样就可以与内参矩阵K合成一个K*T=P，代码中，只要经过一次矩阵转换（P或P逆）就可以完成二者之间的坐标转换了。

原理介绍，没太看懂
外参是相机坐标系转到世界坐标系的参数，其实相机坐标系也是一种世界坐标系了，就是原点位置以及xyz三个轴的方向，不是我们实际想要的，所以转换到世界坐标系（比如车辆后轴为原点），所以这个转换仅需要一个旋转和平移就行了，没有缩放！因此外参就是R（旋转矩阵 3乘3）和T（平移矩阵 3乘1）组成的矩阵

旋转矩阵

旋转矩阵、欧拉角、四元数（实际使用较多），参考如下，待整理，学习下挺好，更有助于理解矩阵相乘的意义
https://zhuanlan.zhihu.com/p/75076326