多模态感知基础学习

一、感知基础

本块感知内容如下：

二、3D目标检测

主要关注的点：

下面详细介绍一下上面几点：

（1）和2d检测的差异

常见的检测方案

（2）基于图像目标的3d检测

- 单目

至于代码可以参考mmdet3d中基于单目的3d目标检测

from mmdet3d.apis import init_model
from mmdet3d.apis import inference_mono_3d_detector
from mmdet3d.apis import show_result_meshlab

# config_file = 'configs/fcos3d/fcos3d_r101_caffe_fpn_gn-head_dcn_2x8_1x_nus-mono3d.py'
# checkpoint_file = 'checkpoints/fcos3d_r101_caffe_fpn_gn-head_dcn_2x8_1x_nus-mono3d_20210715_235813-4bed5239.pth'

config_file = '../configs/smoke/smoke_dla34_pytorch_dlaneck_gn-all_8x4_6x_kitti-mono3d.py'
checkpoint_file = '../checkpoints/smoke_dla34_pytorch_dlaneck_gn-all_8x4_6x_kitti-mono3d_20210929_015553-d46d9bb0.pth'

model = init_model(config_file, checkpoint_file, device='cuda:0')

#image = '../demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__CAM_BACK__1532402927637525.jpg'
#ann = '../demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__CAM_BACK__1532402927637525_mono3d.coco.json'

###own data
image="./game.png"
ann="./game.json"  ###相机内参和图像尺寸信息
result, data = inference_mono_3d_detector(model, image, ann)

# show the results
#from mmdet3d.apis import show_result_meshlab
out_dir = './'
show_result_meshlab(data, result, out_dir, show=True, score_thr=0.1, task='mono-det')
#show_result_pyplot(data, result, out_dir, show=True, score_thr=0.1, task='mono-det')

结果如下

其中FCOS3D和SMOKE算法优劣对比：

-双目

-多目

（3）基于激光雷达的3d目标检测

-Point-based 3D检测

-Voxel-based 3D检测

-Hybrid-based 3D检测

算法小结：

（4）基于融合的3d检测

-前融合

-特征融合

-后融合

总之3d目标检测算法总结如下，

一般前融合方案感知精度相比于后融合大幅提升，但对算法、车端算力要求大幅提升。

三、补充

BEV时序多模态3D检测