多目标传感器和目标跟踪算法

毫米波雷达或者激光雷达与摄像头的图像融合
主要方法包括两方面：
空间融合：需要知道雷达坐标系与图像坐标系的转化矩阵，都与世界坐标系建立起转化关系，从而求出转化矩阵。
时间融合：已知雷达的帧率和摄像头的帧率，赋予开始采集时刻一个系统时间和一个定时器，使雷达数据与图像显示帧匹配。
图像主要显示目标的特征信息，而雷达主要显示目标的深度信息（目标离雷达世界坐标系的距离）。
多目标跟踪算法：
卡尔曼滤波：由上一状态的估计值加上这一状态的测量值分配一定的权重得到这一状态的估计值，用于为下一状态做准备。
粒子滤波：用矩形框选择你要追踪的特征物体，然后建造一个特征直方图模板，再向整幅图片上撒下一定数量的粒子，计算每一个粒子所在区域的直方图与模板直方图进行匹配相似度就是每个粒子的权重并把所有粒子进行归一化。然后再撒下相同数量的粒子，相似度越高的地方粒子数量会随之增多，一直循环。