3D目标检测笔记总结

3D目标检测的定义:在三维物理空间中检测每个物体的物理位置尺寸朝向等信息 

检测每个物体的如下信息

1.位置(x,y,z),通常是中心点在真实世界的坐标,以米为单位

2.尺寸(w,l,h),物体的三维尺寸,以米为单位

3.朝向,通常是俯视图上物体前进方向与x轴的夹角

4.物体的类别或者属性

5. 有些场景还需预测速度

难度:需要估计深度信息,解决方法有3

1.数据:毫米波雷达 激光雷达

2.算法

3.多模态:融合图像和点云,多个传感器的对齐和标定

目录

相机模型与坐标转换

点云的特征与提取算法

基于点云数据的3d目标检测

基于多模态的3d目标检测

基于纯视觉的3d检测

LiDAR:测距

点云 的特点

1.点云是点的集合,是非结构化数据2.点云提供物体的三维结构信息,但是不包含语义和纹理信息3.点云近处密远处稀疏

线数指的是fuyang方向的激光线数

毫米波雷达:波长长,精度低,穿透性弱

图像坐标系

相机坐标系

世界坐标系

世界坐标系到相机坐标系变换为刚性变换,由平移和旋转复合而成

相机坐标系和世界坐标系

图像坐标系转到世界坐标系,内参矩阵K,外参矩阵[R][t],刚性变换

基于点云数据神经网络设计

主干网络重点:

1.点云赋予空间结构:空间栅格话

2.点云当作点集来处理:PointNet和PointNet++模型 

PointNet使用一个子网络T-Net预测刚性变换的参数,再将变换矩阵应用到所有空及那点或特征点上,以实现整个网络对刚性变换的不变性

单点\全局特征

PointNet++

层次化特征:set abstraction(下采样\最远距离采样),通过Grouping

多尺度聚合