点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨黄浴@知乎
来源丨https://zhuanlan.zhihu.com/p/506299494
编辑丨3D视觉工坊
arXiv上2022年4月上传的论文“Exploiting Temporal Relations on Radar Perception for Autonomous Driving“，基本是Brandeis大学的学生在MERL的实习生工作。
该文考虑雷达传感器在自动驾驶中的目标识别问题。与激光雷达传感器相比，雷达在全天候条件下对自动驾驶的感知具成本高效和具备鲁棒性。然而，雷达信号在识别周围目标时，角分辨率和精度较低。为了提高车载雷达的能力，这项工作在连续自车为中心的BEV雷达图像帧中充分利用时间信息进行雷达目标识别。作者利用目标存在和属性（大小、方向等）的一致性，提出一个时域关系层（temporal relational layer）对连续雷达图像中目标之间的关系明确地建模。在目标检测和多目标跟踪方面，该方法与其他几种基准方法相比具有优越性。
车载雷达主要使用FMCW检测目标，并在多个物理域上生成点云。其原理如图所示：
雷达通过M个发射天线之一发射一组FMCW脉冲信号即
具有径向速度vt和远场空间角（即方位角、仰角或同时存在）距离在R0范围内的一个目标，在N个接收器射频链（包括低噪声放大器LNA、本地振荡器LO和模数转换器ADC）的每一个，所接收到的FMCW信号做振幅衰减和相位调制。
基带信号处理模块（包括距离、多普勒和空域的快速傅里叶变换FFT）捕获来自目标的调制信号，生成一个多维谱。频谱与自适应阈值进行比较，即恒定虚警率（CFAR）检测，可以在距离、多普勒、方位和仰角域生成雷达点云。
如图是所提出的具有时序性雷达目标识别框架：从左到右，该方法取两个连续的雷达帧，并从每一帧提取时域特征；然后，选择可能是潜在目标的特征，并学习它们之间的时域一致性。最后，对更新后的训练特征进行一些回归分析。
通过主干神经网络，输入两帧得到特征表示
为了在特征表示中联合使用高级语义和低级细化细节，神经网络中不同尺度特征之间建立跳连接。具体地说，对于一个跳连接，在一个深层上采样池化特征，通过双线性插值将其大小与以前的浅层特征对齐。一系列操作，包括卷积、非线性激活和批量标准化（BN），随后应用于该上采样特征。接下来，沿通道维度将上采样特征与浅层特征连接。三个跳连接被插入到网络中，推动特征在四个不同层接纳语义。
如图是在主干网插入的几个跳连接，收集不同尺度特征进行预测。所选择用于时域关系建模的特征附上位置编码，揭示目标的位置。
设计一个时域关系层模拟连续帧中潜在目标之间的相关性和一致性。该时域关系层从两个帧接收多个特征向量，每个向量表示雷达图像中的潜在目标。
应用一个滤波模块，挑选出前K个潜在目标特征，其中Zc中的潜在目标坐标为：
类似地，可以得到Zp中的潜在目标坐标Pp。这样所选特征组成的矩阵为
时域关系层的输入即记作
在Hc+p传递到时域关系层之前，在特征向量中补上位置编码。由于CNN具有平移不变性，卷积神经网络在输出特征表示中不包含绝对位置信息。然而，位置在目标时域关系中是至关重要的，因为在两个连续帧中处于特定空域距离的目标更有可能关联，并且共享相似目标的属性。同一目标之间的空域距离取决于帧率和车辆运动，可以通过数据驱动的方法进行学习。
时域关系层的输出特征为：采用Transformer结构
掩码矩阵定义为：
自注意机制背后的逻辑是，由于一个目标可以移出范围，所以在连续帧中不能始终保证同一目标同时出现，因此，当一个目标只在一帧中丢失时，自注意是可取的。值得注意的是，位置编码只附加给key和query，而不是value，因此输出特性不涉及位置。其他技术细节遵循Transformer的设计，这里省略了详细描述。
关系建模是由多个具有相同设计的时域关系层构成的。最后，将更新后的特征Hc和Hp从Hc+p中分离出来，并在Pc和Pp的相应空间坐标中将特征向量重新填充到Zc和Zp。
在模型训练时，从热图中选取目标的中心坐标，并通过回归从特征表示中学习其属性（即宽度、长度、方向和中心坐标偏移）。
将2D径向基函数（RBF）核置于每个真值目标的中心，生成真值热图，而RBF核的参数σ与目标的宽度和长度成比例。考虑到雷达图像中目标的稀疏性，用focal loss来平衡真值中心和背景的回归，并驱动预测的热图来近似真值热图，即
注：在模型推理中，在热图上设置一个阈值，以区分目标中心和背景。应用NMS，可避免过多边框出现。
目标宽度和长度的回归损失项为：
其中L1平滑损失为
目标姿态的回归损失为
主干网络中下采样会造成目标中心坐标偏离。这里记作
其回归损失为
这样总损失为
每个训练步骤，都会计算损失L，并同时对当前帧和前一帧进行反向运算。在当前帧中的目标，接收过去的信息以进行识别。另一方面，从前一个帧角度来看，目标会利用来自未来最近帧的时间信息。因此，可以将优化视为对两个连续帧的双向后向-前向训练。目前，没有将当前的框架扩展到多个帧，因为一个中间帧没有时域特征提取所需要的输入图像适当序贯次序（既不是从过去到未来，也不是从未来到过去），并且会降低训练效率。
备注：感谢微信公众号「3D视觉工坊」整理。
对于多目标跟踪，在中心特征向量添加一个回归头，预测当前帧和前一帧具有相同跟踪ID的目标中心之间的2-D运动偏移。简单地，用欧氏距离来实现跟踪解码中的关联。
如下是MOT的解码算法伪代码：
数据集Radiate，包括了在恶劣天气（包括太阳、夜晚、雨、雾和雪）下录制的视频序列。驾驶场景从高速公路到市区，各不相同。数据格式为从点云生成的雷达图像，其中像素值表示雷达信号反射的强度。Radiate采用机械扫描方式的Navtech CTS350-X雷达，提供360度4赫兹高分辨率距离-方位（range-azimuth）图像。目前，雷达无法提供多普勒或速度信息。整个数据集共有61个序列，划分为三部分：好天气下训练（31个序列，22383帧，仅在好天气，晴天或阴天），好天气和坏天气（12个序列，9749帧，好天气和坏天气）条件下训练以及测试（18个序列，11305帧，各种天气条件）。分别在前两个训练集上训练模型，并在测试集上进行评估。
实验结果如下：
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊精品课程官网：3dcver.com
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
