一、感知基础
本块感知内容如下:
二、3D目标检测
主要关注的点:
下面详细介绍一下上面几点:
(1)和2d检测的差异
常见的检测方案
(2)基于图像目标的3d检测
- 单目
至于代码可以参考mmdet3d中基于单目的3d目标检测
from mmdet3d.apis import init_model
from mmdet3d.apis import inference_mono_3d_detector
from mmdet3d.apis import show_result_meshlab
# config_file = 'configs/fcos3d/fcos3d_r101_caffe_fpn_gn-head_dcn_2x8_1x_nus-mono3d.py'
# checkpoint_file = 'checkpoints/fcos3d_r101_caffe_fpn_gn-head_dcn_2x8_1x_nus-mono3d_20210715_235813-4bed5239.pth'
config_file = '../configs/smoke/smoke_dla34_pytorch_dlaneck_gn-all_8x4_6x_kitti-mono3d.py'
checkpoint_file = '../checkpoints/smoke_dla34_pytorch_dlaneck_gn-all_8x4_6x_kitti-mono3d_20210929_015553-d46d9bb0.pth'
model = init_model(config_file, checkpoint_file, device='cuda:0')
#image = '../demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__CAM_BACK__1532402927637525.jpg'
#ann = '../demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__CAM_BACK__1532402927637525_mono3d.coco.json'
###own data
image="./game.png"
ann="./game.json" ###相机内参和图像尺寸信息
result, data = inference_mono_3d_detector(model, image, ann)
# show the results
#from mmdet3d.apis import show_result_meshlab
out_dir = './'
show_result_meshlab(data, result, out_dir, show=True, score_thr=0.1, task='mono-det')
#show_result_pyplot(data, result, out_dir, show=True, score_thr=0.1, task='mono-det')
结果如下
其中FCOS3D和SMOKE算法优劣对比:
-双目
-多目
(3)基于激光雷达的3d目标检测
-Point-based 3D检测
-Voxel-based 3D检测
-Hybrid-based 3D检测
算法小结:
(4)基于融合的3d检测
-前融合
-特征融合
-后融合
总之3d目标检测算法总结如下,
一般前融合方案感知精度相比于后融合大幅提升,但对算法、车端算力要求大幅提升。
三、补充
BEV时序多模态3D检测