A Novel Spatio-Temporal Synchronization Method of Roadside Asynchronous MMW Radar-camera for Sensor

1. 主要论点及流程

   1. 论文的主要方法：考虑到毫米波雷达和摄像头时空不同步，首先根据车道线角点预标定摄像头，然后基于各个传感器时间流量一致，设置多条虚拟检测线（与车道线垂直），统计连续车辆的车头通过时间，对轨迹数据进行客观匹配。 最后，制定同步优化模型，并应用约束非线性最小化求解器来调整参数。

   2. 目标：在时间和空间维度上匹配两个传感器对同一物体的感知数据，并最小化系统偏差。

   3. 一开始就基于摄像头和毫米波不同步（系统不一致，采样频率不一致）的场景。

   4. 摄像头预标定：利用具有规则特征的车道线先验信息，估计角点坐标，对摄像头进行预标定。

   5. 目标匹配：利用多条虚拟检测线，统计车辆通过虚拟检测线的时间差。

   6. 12参数时空同步优化模型来矫正摄像头的预标定参数，采用最小非线性优化器。

   7. 以毫米波雷达的时间和坐标系为基准，通过调整相机时间和变换像素坐标来实现相机和雷达在时间和空间上的同步 。

   

1. Framework

   

   1. 为了保证毫米波和图像采样频率的一致性，对毫米波进行线性差值采样。

   

   1. 边界框中特定锚点的像素坐标来表示图像中的对象位置。可以是角点，底边中点等。

   

   1. 相机预标定：

      

          这里H代表了单应性矩阵，可以通过相机的内外参得到：

      

          A代表相机内参，R1代表旋转矩阵的第一列，R2代表第二列，T代表了平移项。

      

      

      

      1. 相机坐标系与毫米波雷达坐标系一致，即y轴与道路方向一致，x轴与y垂直，并且xoy平面位于道路平面上。

      2. 选用车道线角点来对相机进行初步标定，车道线的先验信息：我国车道线沿车道方向的纵向长度为6 m，车道线沿车道方向的纵向距离为6 m。 车道方向为9m，车道宽度为3~4m等。

      3. 像素坐标和世界坐标映射关系：

      4. 至少需要4组点求解H矩阵。

         1. 对于平直的车道线，可以选择更多的点来计算。

         2. 大部分情况下，都面临弯道的问题，这时需要选择离摄像头最近的点来减弱弯道带来的影响；

      5. 这一步主要是获得初始的单应性矩阵，后面有矫正步骤。

      6. 通过初步的单应性矩阵，车辆参考点的坐标可以得出：

   2. 多目标跟踪和轨迹噪声估计

      

      1. GNN（Global Neareat Neighbour）关联算法和Kalman Filter是毫米波雷达和相机检测目标融合的常用算法。

      2. 目标匹配

         

         

         1. 用毫米波雷达的跟踪数据来匹配摄像头检测到的车辆ID.

         2. 提出了一种在单独的车道中设置多个虚拟检测线的方法，以完成视频和雷达跟踪数据的对象匹配。 利用该方法，我们可以计算出相机和雷达在空间上的时间偏差和Y方向偏差的粗略值。

         3. 上图显示，两个传感器的虚拟检测线并不在同一位置，因为他们空间上仍旧独立。因此车辆通过两者的虚拟检测线的时间戳会产生time gap，标记为$$\Delta t_i$$。

         4. 所有车辆通过检测线的时间差都会被记录，形成了一个一维的N+1个元素的向量：$$[t_{i-N}-t_i,...,t_{i-1}-t_i,t_i,t_{i+1}-t_i,...,t_{i+N}-t_i]$$，包含了某个车辆前后N辆车的时间戳差值。

         5. $$\Delta t_i$$和$$\Delta \bar{t}$$时间差的平方和最小化作为目标函数：

            

   3. 时空同步优化模型

      

      1. 12参数优化模型构建：

      2. 世界坐标与毫米波雷达坐标之间存在三个差别：

         

         

         

               这里n代表了帧数，k代表了车辆的总数。

         1. 原点不一致，存在（$$\Delta X, \Delta Y$$）的差值；

         2. 角度偏差$$\theta$$（如果我们在相机初步标定时设置的世界坐标系的Y轴方向与雷达坐标系的Y轴方向大致相同，那么这个角度一般会更小）；

         3. x轴和y轴的幅度偏差$$K_x, K_y$$，即雷达方向的1m对应世界坐标系下的$$K_x或者K_y$$m，因此，除了原点之外，其他三点所包含的误差也被考虑在内。从世界坐标得到雷达坐标的公式为：

         4. 相机矫正时间$$T_{camera}=T_{camera}+\Delta T$$，选择视频和雷达跟踪数据中的同一车辆截取共同的检测时间，计算每一帧车辆坐标的欧氏距离。 为了避免异常值对计算的影响，采用检测时间内距离的中位数作为视频检测坐标与雷达检测坐标之间的距离。

         5. 平均车辆距离最小化作为目标函数：

1. 应用

1. 雷达坐标和世界坐标存在偏差：

1. 10m到110m之间每隔1m，总共101条虚拟检测线统计$$\Delta T 和\Delta Y$$

可以看到$$\Delta T 和\Delta Y$$是歪斜的，如果我们取平均值作为最终结果，则很容易受到个别异常值的影响。 另一方面，中位数可以很好地弥补偏态分布中均值的缺陷。 当样本中存在一些异常值时，中位数通常用于提供对样本主要情况统计量的相对尊重。

1. 同步前后的坐标变化：