lovely_yoshino的博客

激光雷达地图中基于流的全局和度量雷达定位。自主机器人的定位是至关重要的。尽管基于相机和激光雷达的方法已经得到大量研究，但是它们会受到恶劣的光照和天气条件的影响。因此，最近雷达传感器由于其对这种条件固有的鲁棒性而受到关注。在《》中，我们提出了RaLF，这是一种。。我们通过跨模态度量学习来学习两种模态之间的共享嵌入空间，从而解决位置识别任务。此外，我们通过预测将查询雷达扫描与激光雷达地图对齐的像素级流向量来执行度量定位。

基于视觉的环视可用空间检测对于自动泊车辅助至关重要。在这项任务中，精确的边界定位是最受关注的问题。本文提出的方法可概括如下：通过建议将自由空间重新构建为自由空间边界的极坐标表示，明显简化表示并增强对边界定位的关注。利用变压器框架来解决长序列预测问题。此外，提出了 T-IoU 损失来提高相邻预测的相关性。在停车场景中引入了一个大规模数据集，带有边界注释和评估边界质量的有效指标。本文介绍的方法在大规模数据集上具有良好的性能，并且对新的停车场景表现出很强的泛化能力。

强化学习在自动驾驶中的应用已经日渐普及，虽然由于一些伦理问题，目前真正的使用这种强化学习的还不是很多，但是目前已经有很多应用在自动驾驶中的强化学习的工作，但是我们发现这类方法基本都是将卷积编码器与策略网络一起训练，然而，这种范式将导致环境表示与下游任务不一致，从而可能导致次优的性能。而《》一文提出了若干技术来增强RLfP算法在该领域的性能，包括：i）利用图像增强和自适应局部信号混合（A-LIX）层的图像编码器；ii）WayConv1D是一种路径点编码器，其使用1D卷积来利用路径点的2D几何信息；

自动泊车即在低速场景下有限停车场场景中进行的自动驾驶，是完全自动驾驶系统的关键产品。从较早一代的驾驶员辅助系统，包括碰撞警告、行人检测等方面的角度来看，它也是一个重要的里程碑。本文讨论了从计算机视觉算法的角度设计和实施自动泊车系统，设计一个低成本的具有功能安全性的系统具有挑战性，原型与最终产品之间存在巨大差距，以便处理所有边缘情况。我们演示了相机系统如何对处理各种自动泊车用例至关重要，同时为基于主动距离测量传感器（如超声波和雷达）的系统增加健壮性。

点集可以按两个方向进行组织。在图2（b）中，对于人行横道（多边形），**点集可以按两个相反的方向（顺时针和逆时针）进行组织。**而且，循环改变点集的排列对多边形的几何形状没有影响。对点集施加固定的排列作为监督是不合理的。这种固定的排列与其他等价的排列相矛盾，阻碍了学习过程。图2. 用于说明地图元素关于起点和方向模糊性的典型案例。(a) 折线：对于两条相对车道之间的车道分隔线，定义其方向是困难的。车道分隔线的两个端点都可以被视为起点，并且点集可以按两个方向进行组织。

1.处于安全考虑，Apollo中车道的判定相当谨慎。2.车道线从2D到3D的拟合非常细节，是从效率、鲁棒性和准确性的综合考虑。3.pitch计算依赖于：1.车辆走直线；2.车道线的检测成功。能适应与规范化城市道路。

Services Layer，BSW最高层，（任务）为应用、RTE和BSW提供基础服务。操作系统功能车辆网络通信及管理服务存储管理（NVRAM 管理）诊断服务（包括 UDS 通信及错误内存）ECU 状态管理注意：ISO 15765标准的缩写及其他说明见具体文件（重点是ISO_15765-2文件）。提取码: syabTP = TransPort，CAN TP是PDUR和CanIf模块之间，主要用于对超过8字节的IPDU的分段和重组。CAN TP只由事件触发模式下运行。I-

是一个很常见的定位方法。在知道当前时刻的位置，然后通过imu等传感器去估计下一个时刻的位置。在自动驾驶车辆定位的时候，GPS提供10Hz的定位信息。这每个GPS信息来临的0.1s的间隔里面，车辆位置也会移动很多。那么这个时候就需要航位推算来判断车辆到底移动了多少距离，在哪个地方。所以，航位推算是自动驾驶车辆最基本的，也是必须的一种算法之一。比如推算车辆在隧道中的位置。

智能驾驶操作系统的内核是基于标准的POSIX接口，兼容Adaptive AUTOSAR等国际主流系统软件中间件，满足智能驾驶不同应用所需的功能安全和信息安全要求。考虑当前主流的智驾操作系统能力，我们可以根据自身研发能力制定不同的策略要求，增值不同的研发手段。最终目的是应用智驾系统SOC异构硬件的单元架构和承载功能满足功能安全的不同要求：AI单元内核系统支持QM ~ ASIL B，计算单元内核系统支持QM ~ ASIL D，控制单元内核系统需要支持ASIL D安全级别。

为了实现精确定位，自动驾驶车辆通常依靠围绕移动平台的多传感器感知系统。校准是一个耗时的过程，机械畸变会导致外部校准误差。因此，《Lidar-Visual-Inertial Odometry with Online Extrinsic Calibration》提出了一种激光雷达-视觉-惯性里程计，结合了适应性滑动窗口机制，允许在线非线性优化和外部校准。在适应性滑动窗口机制中，进行空间-时间对齐以管理以不同频率到达的测量。

对于3d bounding box而言，近几年随着自动驾驶的火热，其标注工具也日渐多了起来，本篇文章不讲具体的算法，这里主要聚焦于这些开源的3d bounding box标注工具，以及他们是怎么使用的。这里借鉴了博主的博客作为基础，然后再结合自己的使用与了解完成扩充。

BEV车道线中粉色点是直接使用相机标定参数lift2D车道线点生成的3D车道线，黄色点是mobileye车道线，绿色为本文方法生成的车道线。上式在理想地平面的基础上叠加了动态外参的影响，由于车道线在地平面上，所以z坐标为0。相机标定参数是确定的，我们可以得到结论，3D车道线点的坐标是动态外参、2d车道线点坐标的函数：（根据2D深度学习算出来的uv以及偏差量可以计算出x和y值）从2D车道线到3D车道线的转换，最简单的方法是利用相机的外参和地平面假设求取车道线位置，即假设偏航角、俯仰角和横滚角的误差均为0。

网格中心感知是移动机器人感知和导航的关键领域。尽管如此，在自动驾驶中，网格中心感知不如目标中心感知更为普遍，因为自动驾驶车辆需要准确地感知高度动态、大规模的室外交通场景，并且以网格为中心的感知的复杂性和计算成本很高。深度学习技术和硬件的快速发展为Grid-Centric 感知的发展提供了新的见解，并使许多实时算法得以部署。当前的工业和学术研究证明了网格中心感知的巨大优势，如全面的细粒度环境表示、对遮挡的更强鲁棒性、更高效的传感器融合和更安全的规划策略。鉴于目前缺乏对这一快速扩展领域的调查，本文对自动驾驶汽车

相信最近大家已经被Transformer给洗脑了，作者也在《》中提到了深度学习相关的技术。这就随之带动的就是如何使用基于纯相机的鸟瞰图（BEV）感知技术来替代昂贵的激光雷达传感器，并使其能够应用在自动驾驶上，这目前是急需解决的问题，由于现在Transformer的计算仍然需要大量资源来执行车载推理，无法满足实时性。为此我们来看一下这一篇《》文章，文中发现发现BEV表示可以在不使用昂贵的视图变换或深度表示的情况下就可以拥有较好的性能，文中将M2BEV作为Baseline，然后进一步引入（1）（2）

UniAD 设计是以安全的路径规划为导向，对多个必需的自动驾驶任务进行层级化设计，以多组查询向量 (query) 对物体与环境之间的多种交互进行建模。通过大量实验验证了模型设计的有效性，并相对之前的方案取得了更好的性能。UniAD 是一种统一的自动驾驶算法框架，可以以高精度执行包含跟踪、地图生成、轨迹预测、占用预测与规划任务，是首个全面探索自动驾驶系统各模块必要性的工作，作者通过进行广泛的消融和实验，验证了 UniAD 在各感知预测任务对最终规划的帮助。

在当下“软件定义”、“数据驱动”的大背景下，国内外传统主机厂已经从特斯拉“硬件预埋、OTA升级、软件收费“模式带来的震撼中改变，纷纷开始大力投入操作系统的开发，尤其是自动驾驶操作系统的开发。本文重点分析国内外自动驾驶相关企业操作系统的发展现状和未来趋势。

自动驾驶汽车在真正商业化应用前，需要经历大量的道路测试才能达到商用要求。采用路测来优化自动驾驶算法耗费的时间和成本太高，且开放道路测试仍受到法规限制，极端交通条件和场景复现困难，测试安全存在隐患。目前，自动驾驶仿真测试已经被行业广泛接受，等，使得仿真测试满足自动驾驶感知、决策规划和控制全栈算法的闭环。目前包括科技公司、车企、自动驾驶方案解决商、仿真软件企业、高校及科研机构等主体都在积极投身虚拟仿真平台的建设。本文详细介绍了现有的自动驾驶仿真软件，供读者了解参考，软件排名不分先后。

我们在使用PCL时候，常常不满足于常用的降采样方法，这个时候我们就想要借鉴一些比较经典的高级采样方法。这一讲我们将对常用的高级采样方法进行汇总，并进行整理，来方便读者完成使用。

Lidar SLAM：在基于激光雷达的算法中，其中包括LOAM，因为它是许多流行的基于激光雷达SLAM系统的构建模块，包括LIO-SAM和LEGO-LOAM，这是一种经典激光雷达里程计算法，使用ICP的点对线和点对面变体来执行扫描点云数据的匹配里程计。LEGO-LOAM是我们测试的另一种激光雷达里程计，它与LOAM非常相似，但通过将点云拆分为边缘和平面特征来实现效率增益。该算法分别从平面特征（地面）提取高度、横滚和俯仰，从边缘特征提取X、Y坐标和偏航。

作为Transformer在机器视觉领域的爆火，在自动驾驶领域目前很多工作都集中在前视转鸟瞰图的方法中，这里我们来讲2020年一篇经典的论文《》，其工作被近两年的新的BEV算法进行充分的验证以及对比，从今天的眼光来看，这项工作的思想仍然是非常好的。论文通过使用Transformer算法，通过单目视觉检测俯视图下(BEV (bird eye view))车辆建立语义地图，并通过贝叶斯概率建立多帧之间的地图关系。这是这篇文章的开源网址。

首先我们来看一下头函数，这部分代码申明了栅格地图的信息，以及定义有效范围等信息。这部分没有什么好说的。public :class GridCell //定义的网格类 {public :private :};//栅格地图 DynamicCloudDetector(void);

这是一片22年的ICRA 2022杰出论文《》。来自萨里大学的研究者引入了，将自动驾驶的 2D 图像转换为鸟瞰图，使得模型的识别准确率提升了 15%。相关的代码已经开源，下面是他们开源代码。这里由于作者之前并不是搞NLP的，所以也是边学边写的，如有问题请多多提出。

0. 简介对于点云的深度学习分割而言，其中主要组成部分为两块，一个是点云bin文件，一个是特征的label文件，而point_labeler这个点云标注工具就能很好的让我们去标注自身想要的数据集。下面我们将来详细的介绍point_labeler这个工具的使用方法。1. 环境安装环境依赖：catkinEigen >= 3.2boost >= 1.54QT >= 5.2OpenGL Core Profile >= 4.0glow (catkin package）这

作为激光雷达的回环而言,最经典的仍然是,但是Scan Context仍然会存在有一些缺陷，一是它只利用了最大的高度，丢失了很多点云信息，二是Scan-Context不具有旋转不变性，需要进行暴力匹配，三是Scan-Context缺少特征提取步骤。所以文章《,下面我们来详细梳理一下这篇文章.

我们在上文中提到R3LIVE主要由两个node节点所依赖的cpp文件组成，我们在上一节中完成了简单介绍，下面我们需要详细的看这个节点。这个节点也是我们R3LIVE的核心。

它用于导航。第二层"HD Lane"

1. Open3D-ML安装和使用首先对于Open3d，我们要先对源码下载# make sure you have the latest pip versionpip install --upgrade pip# install open3dpip install open3d然后选择要安装兼容版本的PyTorch或TensorFlow，Open3d中提供了两种安装方式：# To install a compatible version of TensorFlowpip install -

论文链接：https://arxiv.org/pdf/2209.05324.pdf学习感知任务的鸟瞰图（BEV）中的强大表示法是一种趋势，并引起了工业界和学术界的广泛关注。大多数自动驾驶常规方法是在前视图或透视图中执行检测、分割、跟踪等。随着传感器配置变得越来越复杂，集成来自不同传感器的多源信息并在统一视图中表示特征变得至关重要。BEV perception继承了几个优势，如在BEV中表示周围场景直观且融合友好；并且在BEV中表示对象对于后续模块最为理想，如在规划和/或控制中。BEV感知的核心问题在于： （

Error-state Kalman Filter（ESKF）就是一种传感器融合的算法，它的基础仍然是卡尔曼滤波。true state：实际状态，系统实际的运行状态nominal state：名义状态，描述了运动状态的主要趋势，主导成分。（large-signal，非线性）error state：误差状态，实际状态与名义状态之间的差值（small-signal，近似线性，适合线性高斯滤波）基于以上状态分类，我们可以将关心的true-state，分为两部分，分别进行估计，即。

在研究晶体振荡器和原子钟的稳定性时，人们发现这些系统的相位噪声中不仅有白噪声，而且有闪烁噪声。使用标准差分析这类噪声时发现结果是无法收敛的。为了解决这个问题，David Allan于1966年提出了Allan方差分析，该方法不仅可以准确识别噪声类型，还能精确确定噪声的特性参数，其最大优点在于对。。随机误差则主要是高斯白噪声和bias随机游走。Allen方差主要用于标定随机误差。

0. openpilot是什么首先我们需要对openpilot要有个清楚的认知，openpilot主要基于python语言编写。openpilot进程之间通过ZMQ进行通信，使用订阅者和发布者模式，进程订阅其他进程的信息，进程一系列处理，将得到的结果发布出去，让其他进程获取其处理结果。整个openpilot项目可以分为以下几个模块：定位、决策、控制这几个部分。openpilot的实现原理类似于特斯拉靠的是纯视觉的解决方案，但因为camera只有两颗（一颗用于拍摄实现的路况，另一颗用于监控驾驶员），所以op

关于车辆的全景环视系统网上已经有很多的资料，然而几乎没有可供参考的代码，这一点对入门的新人来说非常不友好。全景环视系统，又称AVM。在自动驾驶领域，AVM属于自动泊车系统的一部分，是一种实用性极高、可大幅提升用户体验和驾驶安全性的功能。AVM汽车环视影像系统如图所示，由安装在前保险杠、后备箱、后视镜上的四个外置鱼眼相机构成。该系统包含的算子按照先后顺序：去畸变、四路鱼眼相机联合标定、投影变换、鸟瞰图微调、拼接融合、3D模型纹理映射等。下面我们将围绕着算子的先后顺序来对AVM进行介绍。

逆透视变换（IPM），将相机视角转换成鸟瞰图。其实质是求相机平面与地面的homography矩阵。之前专门有一篇来讲《逆透视变换(IPM)多种方式及代码总结》。但是当中还是比较杂乱且没有详细的代码推导的。这篇文章将从三种方式来介绍逆透视变换的三种方法得到homography。这里得到的Homography是可以通过下面的Kf​转化到现实的坐标系中的。下面的式子为转换矩阵：设(u′,v′)表示图像像素坐标系下的点，(Xw​,Yw​,0)

在阅读了许多多传感器工作后，这里作者对多传感器融合的方法做出总结。本文将从单传感器讲起，并一步步去向多传感器方向总结。之前的《》博客从算法层面介绍了多传感器的分类以及数据传输的能力，而《》博客则是从标定层面向读者介绍了如何对多传感器进行先一步的标定处理。而这篇文章将从方法层面总括多传感器的分类以及作者对多传感器的理解与思考。.........

https://xiaotaoguo.com/p/mapping_coordinate_systems/

https://charon-cheung.github.io/2021/01/27/%E6%BF%80%E5%85%89SLAM/Cartographer/%E5%8E%9F%E7%90%86%E5%92%8C%E9%85%8D%E7%BD%AE/landmark%E7%9A%84%E4%BD%BF%E7%94%A8%20(%E4%BA%8C)%20%20AprilTag%E5%81%9Alandmark/https://blog.csdn.net/weixin_43823054/article/de.

https://xiaotaoguo.com/p/slam-kalman-filter/

0. 简介在阅读了近些年的前视的工作后，发现现在以特斯拉为首的BEV纯视觉语义分割方法目前也越来收到关注，并吸引了大量的研究工作，但是灵活的，不依赖内外参的任意位置安装单个或多个摄像头仍然是一个挑战，而Nullmax就提出了《BEVSegFormer: Bird’s Eye View Semantic Segmentation From Arbitrary Camera Rigs》以用来解决这个问题目前代码还未开源，而另一个BEVFormer团队说22年6月开源，正在持续观望中：https://githu

0. 简介定位模块是自动驾驶最核心的模块之一，定位又包括全局定位和局部定位，对于自动驾驶，其精度需要达到厘米级别。传统的AGV使用一类SLAM（simultaneous localization and mapping）的方法进行同时建图和定位，但是该方法实现代价高，难度大，难以应用到自动驾驶领域。自动驾驶车辆行驶速度快，距离远，环境复杂，使得SLAM的精度下降，同时远距离的行驶将导致实时构建的地图偏移过大。因此，如果在已有高精度的全局地图地图的情况下进行无人车的定位，将极大的简化该问题。高精地图制作已

0. 简介相比于传统的回环检测方法，SC给激光回环带来了更多的可能性，这里我们将会对SC进行解析，也顺便为之前的两篇文章填坑了。LEGO-LOAM改进思路以及代码， SC-LEGO-LOAM 扩展以及深度解析。Scan Context 就包括空间描述子的定义方法和与之对应的匹配算法。并提供了高效的 bin 编码函数，同时这种编码对点云的密度和法向的变化不敏感。另外SC还保存点云的内部结构，并使用一种有效的两阶段匹配算法，相比于其他空间描述子而言性能更好。1. Scan Context 论文相关​​