qq_46460131的博客

翻译 SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection

现有LiDAR-摄像机3D物体检测方法有四个重要组成部分（LiDAR和摄像机候选对象、变换和融合输出），所有现有方法要么找到密集的候选对象，要么产生密集的场景表示。然而，。因此，我们提出了SparseFusion，一种新颖的多传感器3D检测方法，专门使用稀疏的候选对象和稀疏的表示。具体而言，SparseFusion利用LiDAR和摄像机模态的的输出作为稀疏的融合候选对象。我们通过解耦物体表示将摄像机候选对象转换到LiDAR坐标空间中。然后，我们可以通过。为了减轻模态之间的负面转移，我们提出了。

原创 关于pytorch训练的一些知识

或者是一种利用多台计算机或者单台服务器上的多个 GPU 来加速深度学习模型训练的方式。相对于单 GPU 的训练方式，多 GPU 或者分布式训练可以大幅度提高训练速度，缩短训练时间，加快模型迭代更新的速度，从而更好地满足大规模数据和模型的训练需求。以下是多 GPU 或者分布式训练的一些基本知识：多 GPU 训练：在一台服务器上，如果有多个 GPU 资源可用，可以使用多 GPU 训练方式来加速模型训练。在多 GPU 训练时，可以使用 PyTorch 提供的。

原创 关于图像坐标系，相机坐标系，世界坐标系转换

转载 学习MMDetection3D---整体框架介绍

MMDetection3D 代码目录结构，展示主要部分|- configs # 配置文件|- data # 原始数据及预处理后数据文件|- mmdet3d| |- ops # cuda 算子（即将迁移到 mmcv 中）| |- core # 核心组件| |- datasets # 数据集相关代码| |- models # 模型相关代码| |- utils # 辅助工具| |- ...|- tools| |- analysis_tools # 分析工具，包括可视化、计算flops等。

原创 3D目标检测需要知道的几种数据文件类型

同样的在数据处理的过程中，在生成基本的 pkl 文件后，还需要将其转换为 coco 标注格式的 json 文件，该过程中会对 pkl 的标注信息做相应处理，实际在该任务中，pkl 文件用来提供 data 信息，json 文件提供标注信息。在 MMDetection3D 中，不同的任务和不同的场景（室内或室外）的数据预处理都会存在一定的区别，如上图所示，会产生不同的预处理后的文件，便于后续训练。，由于室内点云较为密集的特点，通常会进行点云的下采样处理，保存在。，我们会借助 pkl 文件的信息进一步提取。

原创 使用jupyter远程连接服务器，一个网页就能编程！

最近觉得再不提升代码能力就来不及了，想着自己手打抄代码跑一跑，自己的笔记本性能较差，自己用MobaXterm虽然连上实验室服务器了，但是那个只有命令行，通过pycharm上同步感觉又不是很好用（可能我自己没搞熟的原因），所以想着用jupyter连一下，确实方便多了。最左边的1111是自己随意取得端口号，右上角的是服务器的端口号，左下角的是自己服务器的ip地址和用户以及端口号，一般默认22，你自己建立时只需要改个IP和用户就好了，其他不变也行。接下来直接输入，在服务器上打开jupyter notebook。

原创 Comprehensive Comparison of Image Radar Fusion

就是一个center net进行单目目标检测的基础上引入雷达信息进行二次修正，我觉得这个思路很好，如果用好残差的思想我觉得可以很好的处理单模型失效问题，不过这里最好是在从头并上一个radar模型，然后在radar模型的初步输出之后再引入图像信息进行一个二次修正，，最后二者的二次修正输出通过一种可靠性判断再以一种并的方式实现最终输出。相同大小的图，作为额外的语义特征通道。每个网格的值是通过将雷达点投影到图像上，取最近像素的语义特征得到的（对于网格内有多个点的情况，对所有特征取平均）。出现问题时会有误差累积。

原创 论文阅读：RADDet: Range-Azimuth-Doppler based Radar Object Detectionfor Dynamic Road Users

在VGG [16]和ResNet [8]上进行了多次尝试，尝试不同的输出大小，例如（8,8），（16,16）和（32,32）。对不同骨干网络在3D和2D检测任务中进行系统比较的结果进行总结,除了使用的模型之外，还对自注意力层进行了探索，并发现它们在目标检测中具有很大潜力。首先，第三维度的输出大小，即多普勒维度，使用与其他维度相同的步幅计算。多种因素可能导致注释中的错误，例如由于传感器噪声而导致的雷达实例提取中的错误，立体相机深度估计中的错误以及Mask-RCNN [25]预测中的错误。

原创 CRN: CAMERA RADAR NET FORACCURATE, ROBUST, EFFICIENT 3D PERCEPTION

稀疏但准确聚合。

原创 RODNet

RODNET：毫米波雷达

原创 3D目标检测经典模型比较

自动驾驶模型的一些罗列

原创 BEVFormer

BEVFormer

原创 BEVDepth

bevdepth

原创 M2BEV

M2BEV

原创 BEVStereo

bevstereo

原创 Liga-stereo:Learning lidar geometry aware representations for Stereo-based 3D Detector

liga-stereo

原创 DSGN: Deep Stereo Geometry Network for 3D Object Detection---基于双目视觉的3D目标检测（1）

DSGN

原创 plane-sweep

plane sweep

原创 BEVDet:High-Performance Multi-Camera3D Object Detection in Bird-Eye-View

BEVdet

原创 OFT-Orthographic Feature Transform

从单眼RGB图像预测3D边界框。

原创 LSS---lift,splat,shot

Lift，splat，shoot

原创 深度学习笔记-self-attention

注意力机制

原创 CAM2BEV

CAM2BEV:在特征层面和结果层面利用了IPM逆透视映射，减少平面假设带来的误差