雷达摄像头融合

简介

雷达信息和图像信息需要统一在同一空间和时间维度中才能进行数据融合计算，因此需要将毫米波雷达探测目标的坐标系转换到相机采集到的图像坐标系中，同时对毫米波雷达和相机的采样频率进行统一。

1.雷达

雷达能够连续不断地跟踪目标，并精确测量目标的位置(距离、方位角和俯仰角)。雷达通过天线技术实现目标角度测量，利用角随动系统驱动天线波束跟随目标运动，并通过角度传感器得到天线波束的角度信息。根据原理的不同，角度测量主要分为两种方法：振幅法和相位法。振幅法利用天线收到的回波信号的幅度值进行测量；相位法根据回波信号之间的相位差进行角度测量。雷达的测距原理较测角原理相对简单的多，天线发射高频脉冲，如果它的传播方向上有目标存在，则目标反射回波，并被雷达接收。假设目标与雷达的距离为R ，回波信号滞后于发射的脉冲信号时间为t ，则电磁波传播的距离等于光速乘以传播时间，即为： 

                                                                                                                                                                                

那么探测的目标距离为:

                                                                                                                                                                              

2.几种坐标系的介绍

2.1.世界坐标系

世界坐标系的引入是为了描述不同传感器之间的相对位置关系，因为数码相机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述数码相机的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用（Xw, Yw, Zw）表示其坐标值。世界坐标系的位置由用户自定义设置。

2.2.毫米波坐标系

即雷达探测显示的目标方位信息，包括距离R，俯仰角，水平方位角

2.3.相机坐标系

以相机的光心为坐标原点，X 轴和Y 轴分别平行于图像坐标系的 X 轴和Y 轴，相机的光轴为Z 轴，用（