超爱吃小蛋糕的66的博客

**核心思想：** PointPillars算法从俯视图的角度将点云划分为一个个的柱状体(Pillar)，等同于丢掉了高度信息，只保留水平方向上的xy坐标，每个柱状体(Pillar)等同于2D图像中的一个像素坐标。在得到伪图像之后使用常见2D网络进行特征的提取和学习，最后使用SSD检测头进行Bbox的回归。

首次将Transformer拓展到目标检测领域中，DETR抛弃了几乎所有的前处理和后处理操作，不需要进行设计锚框来提供参考，或者利用非极大值（NMS）抑制来筛除多余的框，使模型做到了真正的End-to-End检测，即对于输入的任意图像统一输出N个带有类别和置信度的Box结果。沐神论文精读搞懂DEtection TRanformer(DETR)详细解读DETRTransformer中的position encoding。

SwinTransformer算法对标基线VIT算法，主要在后者的基础上增加了：（1）层次化特征图（Hierarchical feature maps）解决感受野无法变化的问题；（2）基于滑窗的多头自注意力机制(Shifted Windows Multi-Head Self-Attention，SW-MSA)减小执行TransFormer时的计算量。

本文主要对VIT算法原理进行简单梳理，下图是一个大佬整理的网络整体的流程图，清晰明了，其实再了解自注意力机制和多头自注意力机制后，再看VIT就很简单了受到NLP领域中Transformer成功应用的启发，ViT算法尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。具体来讲，ViT算法将整幅图像拆分成小图像块，将图像块转换为类似于NLP中的Sequence后再执行TransFormer操作。

TransFormer学习之基础知识：STN、SENet、CBAM、Self-Attention,对算法原理进行解析

【代码】AttributeError: 'Plotter' object has no attribute 'topicture'

我们提出了一种方法，该方法通过使用稀疏的输入视图集来优化底层连续体积场景函数，实现了合成复杂场景的新视图的最新结果。我们的算法使用一个全连接(非卷积)深度网络来表示一个场景，其输入是一个连续的5D坐标(3D位置+2D旋转)，输出是该空间对应的体素密度和基于视角的辐射场。我们沿着相机光线查询5D坐标，并使用经典的体积渲染技术将输出的颜色和密度投影到图像中。因为体积渲染是自然可微分的，所以优化我们的表示所需的唯一输入是一组具有已知相机姿势的图像。

整体上NeRF干了这么一件事，输入一组静态场景的连续RGB图像和每帧图像对应的位姿，基于体渲染技术构建损失函数，通过借助一个全连接神经网络MLP得到关于新视角图像中每个像素对应3D点的体积密度和RGB颜色信息。其中不包含3D场景重建，只是将场景隐式的通过一个函数进行表达。算法整体的pipeline如下图所示：将连续场景表示为一个5D输入的神经辐射场，输入采样点的3D坐标和方向，可以得到其体积密度和颜色信息。

基于OpenDet进行训练Pointpillars算法，基于tensorrt-8.5进行部署并移植到ROS

**LSS(Lift, Splat, Shoot)** 是一个比较经典的自下而上的构建BEV特征的3D目标检测算法，通过将图像特征反投影到3D空间生成伪视锥点云，通过`Efficientnet`算法提取云点的深度特征和图像特征并对深度信息进行估计，最终将点云特征转换到BEV空间下进行特征融合和后续的语义分割任务。本篇按照LSS代码的运行逻辑，结合论文对LSS算法进行解析。

本篇旨在记录在ubuntu20.04搭建mmdetection3d环境，对kitti3D目标检测数据集进行预处理，搭建MVX-NET算法训练环境，并基于kitti数据集进行训练和推理测试

以地球质心为坐标原点，z轴指向极点，x轴过赤道和本初子午线交点，y轴完成右手坐标系。

本文旨在梳理目前较为前沿的SLAM技术，包括激光和视觉，主要从精度和实时性两个方面对算法进系评价。对于激光SLAM了解不深，后期需要补充相关算法的核心思想与算法框架。有问题请大佬们随时留言，我再改正。

本篇基于对《自动驾驶与机器人中的SLAM技术》中的GNSS定位相关基础知识进行总结用于备忘。