liu3612162的博客

BEVDepth整体架构如下图所示：通过对LSS的分析，作者发现了几个可以改进的点，如下：1、在LSS中，lift步骤中的单目深度估计不够准确，在训练过程中，对于这部分的修正来自于最终BEV检测结果的误差回传，在经过整个涉及坐标转换的回传过程后，这部分修正结果已经不够准确，导致前端网络深度估计能力不足。因此，BEVDepth增加了一个DepthNet，用激光雷达数据对其进行直接监督训练，提高其深度估计能力。2、LSS整个过程没有使用相机内外参，使得整个网络对于相机的空间位置没有感知。

纯视觉的BEV感知本质上是通过采集多视角下的相机数据，基于相机间的外参以及相机内参，将不同视角下的观测特征关联从而得到物体深度，并将其转换到BEV视角下辅助机器或者车辆进行规划控制以及决策。相应实现的方法有很多，传统算法可以直接对多视角相机采集到的图像进行特征关联，生成视差图，再基于内外参计算得到深度，这也是双目视觉的基本原理；采用深度学习的方法则更加简单粗暴，往往是直接通过网络提取图像特征，之后采用其他网络估计深度或者转换到相同的空间中进行特征关联后再输出深度等方法。

DBOW作为一种视觉回环技术被广泛应用在各类VSLAM框架中，之前的经验主要集中在使用和抽象理解层面，近期花了一些时间仔细阅读了相关论文和源码，这里做一些记录。

最近针对特斯拉AI day2022内容进行了初步的了解，三个小时的发布会涵盖了方方面面的内容，其中基于纯视觉和深度学习的BEV感知升级版Occupancy Network形成的3D感知系统着实让人惊艳，而想要了解Occupancy Network，必须先了解其前身BEV感知，而其中一大关键点是参考了Transformer的网络结构对不同时空的数据输入进行处理，本系列文章主要针对相关技术从源头开始解析，由于个人技术能力有限，不可能面面俱到，仅当作抛砖引玉了。

目录软件安装VSCODEdockerdocker image构建与运行VSCODE配置ROS插件配置clangd配置软件安装VSCODE存在三种安装方式，如下：在vscode官网下载需要的版本直接进行安装。ubuntu下软件中心搜索安装(安装最简便，推荐)：使用apt安装：wget -q https://packages.microsoft.com/keys/microsoft.asc -O- | sudo apt-key add -sudo add-apt-repository "d

目录ROS2简介与ROS1的主要区别ROS2的改变对实际使用的影响ROS2简介新一代机器人操作系统（robot operation system），继承了ROS1大部分优异特点，并对部分功能进行了增强，同时对ROS1中存在的主要问题进行了修复和改进，相关介绍很多，这里就不赘述了。与ROS1的主要区别ROS1与ROS2的主体架构对比图：对以上架构图进行剖析：去除master节点ROS1的整体架构设计采用了中心化设计，在设计模式中也称为中介模式，即通过一个中心代理节点完成系统中所有节点的通信

简介作为自动驾驶两大开源仿真器（LGSVL、CARLA）之一，CARLA基本具备了自动驾驶仿真器需要具备的大部分功能，诸如完整的车辆运动系统、地图系统、各类常规传感器、天气系统等等，并且其基于UE4开发，在仿真效果真实性上是LGSVL不能比拟的，因此其还有很大的一个用途是可以通过其采集各类数据用于神经网络训练，CARLA可以直接输出各类数据及其真值，大大减少了训练成本。安装CARLA分为服务器端与客户端，需要分别安装。服务器端在CARLA官网直接下载仿真器，并运行即可，需要提前安装好NVIDIA驱

目录前言算法解析线/面特征与线/面地图的残差与对应优化向量计算LM算法简单介绍基于Tait-Bryan xyz extrinsic rotations的雅克比推导代码剖析问题前言LOAM点云匹配部分极为经典，可以说是LOAM整个框架的核心，其运算速度快，精度高，自14年发布，并在后续拿下kitti冠军后，直到现在仍然被广泛使用，但在后续的推广中仍然有一些问题，这里做一些解析并记录下自己应用中的问题。算法解析算法具体解析的文章实在太多了，这里不做赘述，只简单介绍下相关流程和原理，大致流程如下：gra

Angular规范git commit信息规范化可以带来很多好处，例如review信息明确、版本回退时能准确定位需要回退的点、release时自动生成CHANGELOG等，Angular规范本身也简洁明了，在全世界范围内广泛使用，其主要内容如下：分支命名master 分支master 为主分支，也是用于部署生产环境的分支，确保master分支稳定性 master 分支一般由develop以及hotfix分支合并，任何时间都不能直接修改代码develop 分支develop 为开发分支，始终保持

目录代码剖析代码剖析首先一定要对Keyframe这个类有充分的认识，其中比较难理解就是一些pose的数据结构： /** @brief vio pose in backend */ Eigen::Vector3d vio_T_w_i; Eigen::Matrix3d vio_R_w_i; /** @brief rectified pose in backend */ Eigen::Vector3d T_w_i; Eigen::Matrix3d R_w_i; /** @brie

环境本机ip:192.168.10.20，电脑名称（不是用户名）:mikaa-OptiPlex-6900远端ip:192.168.10.10，电脑名称:robot电脑名称是指ubuntu下打开终端，看到的XXXuser@YYYY中的YYYY。1、配置本机hostssudo vim /etc/hosts添加192.168.10.10 robot如下：127.0.0.1 localhost127.0.1.1 mikaa-OptiPlex-6900192.168.1

目录前言代码剖析一些小细节前言最近花了点时间学习了下经典的VSLAM框架VINS，前后端都采用优化的方式，且在运行过程中实时估计IMU加速度计和陀螺仪bias，在初始化阶段还可以实时优化camera到IMU的外参，解决了很多之前SLAM框架在实际中使用的问题，例如使用时间久之后的外参漂移、IMU的bias不准导致的系统不够鲁棒等等，实测也具有非常良好的效果。但是VINS的代码确实不太友好，当然秦大佬只是用于发paper并不需要放过多心力在工程化上，这里主要针对VINS-Fusion代码做一些解析记录，便

目录背景贝叶斯滤波系列KF、EKF、ESKF的原理与区别贝叶斯滤波卡尔曼滤波（KF，Kalman Filter）扩展卡尔曼滤波（EKF，Extended Kalman Filter）Error-State卡尔曼滤波（ESKF）总结KF、EKF、ESKF的联系KF、EKF、ESKF的区别与其他滤波方法的区别背景滤波：去除噪声还原真实数据的一种数据处理方法，被广泛应用于对信号准确度有需求的众多领域，例如军事、航天、通信等等。常用滤波方法：以低通滤波、带通滤波、高通滤波为代表的按照频率滤波的方式；以卡尔曼滤

目录直接法与间接法滤波ESKF公式推导VINS中对于ESKF的使用直接法与间接法滤波卡尔曼滤波作为一种贝叶斯滤波的具体实现被广泛应用于状态估计问题中，其优势与特点这里就不再赘述了，而众所周知的是，卡尔曼滤波只能应用于线性系统中，而实际中大部分系统无法满足这个约束，于是诞生了扩展卡尔曼滤波（Extended Kalman Filter，EKF）和误差状态卡尔曼滤波（Error State Kalman Filter，ESKF）等一系列应用于非线性系统的滤波方法，这些方法各有特点，这里主要讨论EKF和ESK

前言支持向量机（SVM）是机器学习中非常重要的一个算法，虽然在今天，它在很多应用层面被神经网络取代了，但其实现仍然有很多值得学习的地方，而且相比较于神经网络的黑盒子特性，其解释性要好很多，训练的过程也相对更快。从线性回归出发本系列开篇讲过了线性规划，原始的SVM也是线性回归问题，考虑一个二分类问题：x∈X，y∈{1,−1}x\in X，y\in \{1,-1\}x∈X，y∈{1,−1}，我们建立一个线性模型：f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b判别函数为：y=sig

前言上一篇主要对论文进行了翻译，这一篇结合一份代码详解下Yolov4相比较于v3采用的一些新技术和改进点，论文中其实已经对于一些技术梗概进行了分析，这里只对论文没有详述的部分进行一些自我的剖析，如果有不准确的部分，欢迎各位大神指教。本来打算用keras自己实现一遍YOLOv4，但有大神提前做了并进行了开源，就不重复造轮子了，本篇所有代码来源keras-yolo4。主要技术点解析CutMix和马赛克数据增强（Mosaic data augmentation）Yolov4中除了采用常规的反转、裁切、旋转

概述关于卡尔曼滤波算法的解析文章数不胜数，对于其强大和超广的适用性这里也不再赘述，这篇文章旨在以极为简单而通俗的语言描述卡尔曼滤波，希望数学小白以及日后的自己也能轻松看懂。理解这篇文章只需要基本的数学基础和一点点概率论知识，当然，这也源于卡尔曼滤波本身就是一个强大但实现极为简单的算法。希望有更为全面了解的可以参考Kalman filter以及Understanding the Basis of the Kalman Filter Via a Simple and Intuitive Derivation

前言时隔两年之后，伴着Yolo原作者Redmon在twitter正式宣布退出cv界，大家都以为yolo系列已经终结的时候，Yolov4横空出世，虽然作者已经大换血，但论文中给出的测试结果依然保留yolo系列的血统：保持相对较高的mAP的同时，大大降低计算量，可谓是学术成果在工业应用的典范，至于实际使用如何，还需要时间的进一步检验，期望v4能够如v3一般强大。这里对原论文进行一些个人的解析，有不对...

概述关于使用TensorRT对网络进行加速的基本工作在深度学习系列五：使用TensorRT对网络进行加速中描述很详细了，这里主要记录下在迁移到7.0时，顺便解决了之前ResizeNearestNeighbor这个层在uff模型中无法直接支持必须外挂plugin的问题。Keras模型转ONNX模型之前使用6.0时，采用的方案是Keras模型转uff模型，再创建engine，其实从官方文档可以看...

1、前言由于目前基于深度学习的detection在实际使用中仍然存在很多的误检和漏检，显然在实际使用中无法只依赖detection模块作为感知，而传统MOT也存很多因素导致追踪目标丢失必须重新手动选择的问题，因此，Tracking by detection成为一个很重要的研究方向，而Tracking by detection中前后帧的目标匹配算法成为研究重点，目前已经有很多相关的研究，诸如前几年...