weixin_55982578的博客

为了解决这些问题，论文提出了一种名为Compact Occupancy TRansformer（COTR）的方法，它包括一个几何感知的占用编码器和一个语义感知的组解码器，以重建一个紧凑的3D OCC表示。总结来说，COTR通过提出紧凑的3D占用表示和语义感知的组解码器，有效地解决了3D占用预测中的几何信息丢失、计算成本高和语义可区分性差的问题。现有的3D占用表示缺乏语义可区分性，这限制了网络成功识别稀有物体的能力，这部分是由于数据集中的类别不平衡问题导致的。

泊松曲面重建还将在低点密度区域创建三角形，甚至外推到某些区域（请参见上面 eagle 输出的底部）。create_from_point_cloud_poisson 函数有第二个 densities 返回值，该值指示每个顶点的密度。低密度值意味着顶点仅由输入点云中的少量点支持。在下面的代码中，我们使用伪彩色可视化 3D 密度。紫色表示低密度，黄色表示高密度。open3d 效果图。open3D 可视化。

论文：https://arxiv.org/pdf/1806.01260.pdf代码：https://github.com/nianticlabs/monodepth2。

是一个先进的技术，它通过使用一种特别的方法来处理来自多种传感器的信息，这对于自动驾驶系统来说非常重要。但是，每种传感器捕获的信息类型不同，处理这些不同类型的信息通常需要大量的计算资源，并且很难实现传感器之间的有效合作。，它使用一种统一的方法来处理所有不同的传感器信息，这意味着它可以同时学习和理解不同传感器提供的数据，而不需要对每种数据进行单独的处理。”的智能算法实现的，它可以处理不同的数据类型并找出它们之间的关系。早期融合指的是在感知层面将来自相机和雷达的原始数据进行融合。

范围视图的一个主要问题是，它继承了传统2D图像检测中的一个典型问题，即物体因距离不同而呈现出的“近大远小”现象，这导致物体尺寸变化多端，给物体检测带来挑战。左图： 描述的是一个方法，其中对于模型考虑的每一个点，都将以该点为中心，而且该点的x轴被定义为局部x轴。这意味着，与左图的方法相比，局部坐标系的定义考虑到了每个点的方位，使得局部x轴的定义更加动态，依赖于每个点相对于全局坐标系的方向。，我们确定了九个邻近点的位置，这些位置的坐标被转换成相对于中心点的直角坐标系统下的位置。中提出的一种结构单元。

半固态激光雷达根据其扫描方式可以分为一维扫描和二维扫描两种类型，它们的共同点都是利用内部的移动反射镜来改变激光的方向。不同之处在于，一维扫描仅能在水平方向进行，因此其主要提供的是目标的水平距离和高度信息，适用于相对简单的应用场景。随着技术的进步，两种方案将在性能和成本上趋于平衡，并根据不同的应用场景进行选择，为自动驾驶车辆提供更为精确和可靠的环境感知能力。半固态激光雷达，与传统的固态激光雷达相比，其最大特点是在内部采用了移动的反射镜来改变激光的发射方向，实现对车辆周围环境的精确三维扫描。

在矫正良好的双目视觉系统中，两个相机只有水平方向的视差，可以利用对极信息来恢复真实的深度，从而得到真实的3D信息。目前，双目相机是一种替代camera+lidar的自动驾驶方案，业内有DJI、PhiGent Robotics等厂商使用和探索。单目相机一般用于自动驾驶的前视摄像头，可以看到比较远的距离。其缺点在于因为没有相机视野之间的overlap，无法从对极信息来恢复真实深度，只能用数据驱动的方法来估计，存在泛化性问题。一般来说，相机可以分为单目相机、双目相机和多视角相机。4.sonar 声纳。

膨胀半径这段代码主要是关于在二维地图上计算点之间距离的几个函数，同时也包含了查询地图上特定坐标点的距离和值的函数。cv::Point和 distanceMapAtCell(unsigned int mx, unsigned int my)wxwymxmy-1和 binaryMapAtCell(unsigned int mx, unsigned int my)0。

假设3D的voxel volume的尺寸是(x, y, z), 投影到的平面BEV的尺寸就是(x, y)T_veh = (T_x, T_y, T_z)： 在 BEV 坐标中代表车辆位置的平移矢量。P_bev = (X_bev, Y_bev, Z_bev) ： BEV 坐标中的一个点。XZ 平面（侧视图）： 将体素投影到侧视平面上（X 轴：向前，Z 轴：向上）。XY 平面（鸟瞰图）： 将体素投影到地平面上（X 轴：向前，Y 轴：向左）。YZ 平面（正视图）： 将体素投射到前平面上（Y 轴：左，Z 轴：上）。

点云：由一系列3D点构成，每个点标示物体表面的一个特定位置。体素：通过将3D空间划分成一系列规则的小格子来表示物体的占用情况，每个格子代表一个体积单位内的物体存在状态。三角面片：利用一系列三角形来模拟物体表面，每个三角形覆盖物体表面的一小部分。：描述空间中每个点是否被占用的状态。：记录空间中每个点到物体表面的距离。：表示每个点在特定视角和光照条件下的颜色与亮度。空间场指的是一种将空间中的点映射到特定属性（如标量、向量等）的函数。例如，温度场将点映射到温度值，而重力场则映射到重力强度。

该工作通过借鉴人类利用双眼感知3D世界中深度信息的能力，提出了一种名为OccDepth的语义场景补全方法。这种方法既显式也隐式地利用了图像中包含的深度信息，旨在帮助更好地恢复3D几何结构。

SurroundOcc代码库的整体架构提供了一个清晰的框架，旨在处理BEV（鸟瞰视图）/Occupancy（占用）等任务，其结构设计允许用户快速理解和应用到其他相关代码库中。通过上述组成部分的协同工作，SurroundOcc代码库不仅为用户提供了一个灵活、可扩展的研究和开发环境，同时也展示了在BEV/Occupancy等视觉任务中应用深度学习的一种有效方法。现在很多最新的领域上都是基于mmdet3d上面制作，所以我们要利用好的工具，减少自己的研究时间，不要再制造轮子了。

通过loss和调参，加快你的研究速度

占用流迹损失(flow trace loss)的具体定义如下：首先，将通过时间变换(warp)后的占用信息与占用网络(Occupancy Networks)预测的结果进行相乘操作（这里的相乘是指在相同的(x, y)位置的值（0或1）相乘），然后，将这一结果与地面真实的占用情况(gt occupancy)进行比较。它的原理与RGB图像中的光流(Optic Flow)和点云数据的场景流(Scene Flow)相似，主要用于预测未来的占用体素(Occupancy voxels)以及物体速度的估计。

对齐（Align）：该步骤通过将历史帧的特征通过变换矩阵（RT矩阵）转换到当前帧，实现时间维度上的信息对齐。连接（Concat）：通过将对齐后的历史特征与当前帧的特征进行连接，模型能够综合利用时空信息，增强对场景的整体理解。：在处理占用率检测任务时，此步骤会将特征编码为三维（3D）特征，即特征在垂直方向（z方向）上的张量维度不为1，从而明显区别于BEV的二维（2D）特征。通过这一系列精心设计的步骤，可以有效地理解并实现BEV架构与占用率检测之间的关系，为自动驾驶系统中的空间理解提供强大的支持。

代码实践和分析

OccNet 在 nuScenes 基础上推出的 OpenOcc 数据集，提供环视相机图像、3D occupancy 和 occupancy flow 标注等。数据集通过将 Lidar 数据体素化，生成精确的3D真值，支持场景理解和3D重建研究。这一数据集不仅适合静态场景分析，也能用于研究动态环境，为机器视觉等领域的进步提供重要资源。可以看一下我的blog如何下载。Nuscenes 数据结构。Occnet 数据集。

TN: Negative, 所以模型预测的是负样本，True，所以模型预测的是正确的 => 标签也是负样本。TP: Positive，所以模型预测的是正样本，True，所以模型预测的是正确的 => 标签也是正样本。FP: Positive, 所以模型预测的是正样本，False，所以模型预测反了 => 标签是负样本。FN: Negative, 所以模型预测的是负样本，False，所以模型预测反了 => 标签是正样本。

然后，我们确定所有同时具有占用和未占用角点的体素，并将它们标记为活跃（浅红色），并将它们细分为每个8个子体素。当使用这样一个网络基于对该对象的观察（例如，图像、点云等）进行3D重建时，我们必须根据输入对其进行条件设置。注意，这个网络等价于一个用于二分类的神经网络，除了我们对代表对象表面的决策边界感兴趣，这是隐式表示的。理想情况下，我们希望不仅仅在固定的离散3D位置（如体素表示中）推理占用情况，而是在每一个可能的3D点。我们的关键见解是，我们可以用一个神经网络来近似这个3D函数，该网络为每一个位置。

当我们将语义分析（Semantic）与几何分析（Geometry）进行解耦时，我们允许自动驾驶系统的安全关键部分——几何信息——单独训练，从而获得更为精确和可靠的结构表达，而不受语义不确定性的干扰。在实际应用中，这种高度精细的表示有助于提高感知系统的精确度，尤其在需要高度精细化处理的场景，如自动驾驶车辆在复杂城市环境中的导航，确保了更高的安全性和可靠性。从感知系统的角度看，不同的传感器，如相机、激光雷达或其他类型，都可以在鸟瞰图（BEV）空间内统一回归占用空间（Occupancy）信息。

学习记录，文末有视频和文档，谢谢大佬的无私分享