- 博客(35)
- 资源 (65)
- 收藏
- 关注
RSS订阅原创 单目深度估计基础理论和论文学习总结
三维刚体运动的数学表示：旋转平移矩阵、旋转向量、欧拉角、四元数、轴角模型、齐次坐标、各种变换等照相机模型：单目/双目模型，单目中的世界坐标系/相机坐标系/图像坐标系的互相转换、畸变与矫正，双目涉及的视差和深度的反比关系、基线，鱼眼模型和校正等图像变换：线性变换、仿射变换、透视（投影变换）图像相似度评价指标：SSIM/PSNR/MSE、平滑损失、ξ等。参考：《视觉SLAM十四讲》
2024-03-24 16:16:56
1016
原创 解决长尾问题，BEV-CLIP：自动驾驶中复杂场景的多模态BEV检索方法
BEV-CLIP如下图所示，这是第一种BEV检索方法检索自动驾驶的corner case。与2D图像检索相比，BEVCLIP允许在BEV特征的背景下进行与复杂全局特征相关的语义检索，从而实现spa conquers。同时，BEV-CLIP使用大型语言模型（LLM）来增强模型理解检索文本中复杂描述的能力。BEV-CLIP的总体结构。（a） BEV和文本特征的处理。BEV编码器使用冻结的参数将来自周围6个相机的图像生成为BEV特征。
2024-03-24 16:11:12
1311
原创 自动驾驶建图--道路边缘生成方案探讨
对于自动驾驶来说，建图是必不可少的，目前主流厂商技术都在从HD到"无图"进行过渡筹备中，不过想要最终实现真正的"无图"还是有很长的一段路要走。对于建图来说，包含了很多的道路元素，车道线，停止线，斑马线，导流属性，道路边缘以及中心线(包含引导线)等。这里，中心线的预测通常是根据轨迹，通过数学公式进行拟合，目前学术上逐渐采用模型进行预测，但是对于下游(PNC)来说，还是存在不够平滑，曲率不够精准等问题，不过这个不在本次方案讨论范围内，先忽略，以后有空可以写一写。
2024-03-23 22:42:38
976
1
原创 自动驾驶感知新范式——BEV感知经典论文总结和对比（一）
关于自动驾驶视觉感知，最近两三年另外一个热门方向便是更为直接的bev视角下的视觉感知。不同于深度估计先显式获取各个像素点的深度，再支持其他相关任务，bev视角下可以实现端到端的目标检测、语义分割、轨迹预测等各项任务。由于这种方法pipline更加简单直接，且能够更好地被下游规控所使用（在同一个坐标系），近期相关研究工作达到井喷趋势，霸占各大SOTA榜单。现按照大致发展顺序介绍一系列经典模型，帮助感兴趣的小伙伴快速了解相关内容。
2024-03-23 22:21:56
2059
原创 深入BEV感知中的魔鬼细节：综述、评估和秘诀
自动驾驶中的感知识别任务本质上是对物理世界的三维几何重建。随着传感器的多样性和数量越来越复杂，自动驾驶系统的装备也越来越复杂，以统一的视角表示不同视图中的特征至关重要。众所周知的鸟瞰图（BEV）是一种自然而直接的候选视图，可作为统一表示。与二维视觉领域中广泛研究的前视图或透视图相比，BEV表示具有若干固有优点。首先，它没有2D任务中普遍存在的遮挡或缩放问题。可以更好地解决具有遮挡或交叉交通的车辆识别问题。此外，以这种形式表示对象或道路元素将有利于方便后续模块（如规划、控制）的开发和部署。
2024-03-21 21:10:14
1040
原创 面向量产！基于视觉的速度距离估计
在精确检测车速车距的方案中，视觉方案是非常具有挑战性的，但由于没有昂贵的距离传感器而大幅降低成本，所以潜力巨大。本文综述了基于视觉的车辆速度、距离估计。并建立了一个完整的分类法，对大量工作进行分类，对涉及的所有阶段进行分类。除此之外，还提供了详细的性能评估指标和可用数据集概述。最后，论文讨论了当前的局限性和未来的方向。
2024-03-21 20:48:10
1144
原创 ADAS-AEB系统详解
AEB即自动紧急制动（Automatic Emergency Braking），其通过雷达、摄像头共同监测前方车辆以及行人情况，若探测到潜在碰撞风险，系统将采取相应预警及制动措施，从而避免发生碰撞或减轻碰撞损害程度。作为一项重要的ADAS主动安全功能，AEB近年来配置率不断提升，未来有可能成为标配。
2024-03-21 14:14:23
1964
原创 最详细的Catmull-Rom Spline 推导与应用
我们往Spline 的方向深入，探究 Catmull-Rom 的曲线，想必研究的越深入，来到这里的人也越少。实际上，作为一个使用引擎的编程者，并不需要推导的那么深入，引擎自然有现成的实现。不过，既然已经钻研到了这里，“予之力尚足以入，火尚足以明也”如果不在此研究明白，恐怕以后也很难有机会再回到这里来研究更多吧。当然，我们到了这里，会发现，这部分的中文的教材充斥着抽象的概念，晦涩难懂；这部分的博客往往伴有“无脑转译”和“不求甚解” 的存在。
2024-03-20 20:50:52
1521
原创 相机与激光雷达是怎么标定的？一览行业所有主流的标定工具
该软件包提供了一个用于激光雷达相机标定的工具箱： **可通用：**它可以处理各种激光雷达和相机投影模型，包括旋转和非重复扫描激光雷达，以及针孔、鱼眼和全向投影相机。**准确和稳健：**它采用了像素级直接激光雷达相机配准算法，与基于边缘的间接激光雷达相机配准相比，该算法更稳健和准确。标定原理如下图所示，相机通过二维码估计标定板平面在相机坐标系下的平面方程，由于激光点云落在平面上，将点云通过激光坐标系到相机坐标系的外参数 ��� 转换到相机坐标系，构建点到平面的距离作为误差，使用非线性最小二乘进行求解。
2024-03-20 15:04:41
1049
原创 单目测距那些事儿(上) _ 从MobileEye谈起
在ADAS领域，有个功能叫ACC是一种，具体包括发现目标车辆、判断目标车辆所在路径、测量相对本车的距离和速度，然后进行相应的刹车等制动操作以保持安全驾驶距离。当没有发现目标车辆时，则保持预设的巡航速度。对于测距而言，最直接的方法是采用毫米波雷达、激光雷达和双目相机。但是考虑到设备成本和计算成本，人们开始考虑能不能用单目相机来做距离控制。当然这种考虑不是空穴来风的，而是有两个直观的角度：一方面，人类双眼虽然有立体测距功能，但仅在近距离比较准确，无法准确测量百米距离；
2024-03-19 19:31:32
1227
原创 AVP-SLAM：自动泊车系统中的语义SLAM_
在自动代客泊车系统中车辆在狭窄且拥挤且没有GPS信号的停车场中进行导航，具备准确的定位能力是至关重要的。传统的基于视觉的方法由于在停车场中由于缺少纹理，以及重复的结构和场景的变化导致跟踪容易丢失，在这篇文章中，使用了鲁棒的语义特征来建立停车场的地图并在泊车时用语义信息来定位车辆。其中语义的特征包含了地面上的指路标志，停车线，以及减速带等，这些特征通常出来在停车场中。这些语义的特征与传统的特征相比，对视角和光照变化具有一定的稳定性。
2024-03-19 14:50:50
1178
原创 基于消失点的相机自标定
相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标定方法提供一个实用的工具。这里详细介绍了两种不同消失点的方法进行相机标定，并进行了比较。首先，利用合成数据对这两个模型进行了分析。最后，对每种方法进行了实际标定结果进行测试，结果证明了标定的质量。主要内容当我们在使用相机实现三维重建或者虚拟现实等交互场景时，需要对相机进行校准或者称之为标定。
2024-03-18 20:15:04
1543
原创 IPM(Inverse Perspective Mapping)_逆透视变换
根据透视原理，地面上的两条平行线会相较于一点，而逆透视变换就是去除透视效应，使得平行线仍然是平行线。
2024-03-18 19:41:10
369
原创 车载GNSS —— 支撑城市NOA落地的关键技术
不管是使用高精地图，还是用“轻地图”。对于城区NOA功能，在城市复杂环境下，如果GNSS模组可以保持较高的固定率，并且经过复杂环境后可以快速收敛到固定解，则可为IMU递推提供更加强有力的保障，从而提高组合导航的性能。虽然这里的定位精度是指GNSS+RTK+IMU+高精地图+摄像头、激光雷达等环境传感器进行融合后的定位结果，但GNSS的绝对定位是基础，它本身的精度对最终融合后的定位结果具有重大的影响。通常情况下，北斗卫星系统可以被接收到的频点有：B1I，B1C，B2I，B2a，B2b，B3I。
2024-03-17 11:30:00
978
原创 开环端到端自动驾驶： 到底行不行
UniAD[1]获得CVPR Best Paper Award后毫无疑问给自动驾驶领域带来了又一个热点： 端到端自动驾驶。同时马老师也在极力的宣传自己的端到端FSD。不过本篇文章只把讨论限定在一个很小的学术方向，基于nuScenes的开环端到端自动驾驶，会给出一些细节的东西，不讨论其它假大空的东西。（叠个甲，本文章仅是学术讨论，不包含任何对于文章中引用的paper，相关作者的任何负面态度）基于nuScenes的开环端到端自动驾驶，所面临的问题太多了，心累了。
2024-03-16 22:12:23
1523
1
原创 自动驾驶泊车(APA_HAVP)算法学习整理
我看传统的泊车方法好像都需要先搜索出一条路径，然后再作进一步的处理，我觉得Hybrid Astar的搜索速度非常依赖于地图分辨率，分辨率小了就会很慢，大了就没法精确避障了， 如果直接使用一条直线段连接成的路径作为参考线，不用搜索的结果了，然后对这个直线段采用最优化的方案进行求解效果会如何。TEB就是直接对直线段进行优化，并且也实现了car-like方面的路径规划，于是我去下载了源码然后跑了一下，发现效果不太好，速度很慢， 很容易出现无解的情况， 我觉得可能是因为TEB还多了一个时间变量需要处理，时
2024-03-15 16:26:47
229
1
原创 BEV系列一：BEV介绍和常用BEV算法简介
鸟瞰视角（Bird's Eye View，简称BEV）是一种从上方观看对象或场景的视角，就像鸟在空中俯视地面一样。在自动驾驶和机器人领域，通过传感器（如LiDAR和摄像头）获取的数据通常会被转换成BEV表示，以便更好地进行物体检测、路径规划等任务。BEV能够将复杂的三维环境简化为二维图像，这对于在实时系统中进行高效的计算尤其重要。
2024-03-14 21:23:25
347
原创 单目测距的基本介绍和实现原理
单目测距是一种常用的测量技术，它通过单个摄像头来测量物体与摄像头的距离。在现代科技的推动下，单目测距术正在不断发展和应用于各个领域。本文将分点阐述关于单目测距的重要性、原理和方法、应用领域以及潜在的挑战和发展方向。
2024-03-14 12:17:59
3000
原创 写个想从事自动驾驶相关工作的同学
写个想从事自动驾驶相关工作的同学有一年过年，我一个亲戚的儿子（他正在读研二）问我，想从事自动驾驶方面的工作，需要准备什么；我问他研究生期间自己主要研究什么方向，他说也没有特定的方向，主要跟着老师做项目，自己因为兴趣学习了机器学习和深度学习，我继续问他深度学习又主要学习的什么方向呢；他说视觉方向。我开玩笑说：“还要你学的是视觉方向，如果是其他方向，比如推荐，NLP, 可能就跟自动驾驶无缘了。”当然，我只是开玩笑。我继续向他了解情况，问他为啥要从事自动驾驶方面的工作，对自动驾驶有没有一些了解，他说，因为工资高
2020-11-08 21:41:48
743
原创 caffe+Ubuntu 14.04+cuda 8.0 安装（自我总结）
经过了两天的不停折腾，总算把caffe+cuda8.0成功装上。期间参考了网上N种方法都失败了，估计是因为每个人的电脑环境都有所不同，所以完全按照别人的方法安装未必就能成功，现将我自己安装成功的方法在此博客总结，各位只供参考，不一定适合你哦~~。电脑环境： lenovo y50 Ubuntu 14.04 64bit GeForce GTX 960mcuda8.0安装先将之前我尝
2016-11-08 16:26:29
2932
2
原创 opencv日常之Canny边缘检测 1
大部分人认为Canny边缘检测是最优的边缘检测方法，Canny边缘检测方法可以得到清晰明了的边缘；大部分图像处理包都提供了一个专门的canny边缘检测函数；这篇文章我们来看看Canny边缘检测的原理。Canny边缘检测需要经过一下几步:1.预处理2.计算梯度3.非极值抑制4.阈值与滞后效应(此处不知翻译的对不对，英文表达是：Thresholding with hysterysis)<1>预处理边缘检
2016-03-16 09:10:03
1912
原创 TCP/IP 三次握手，温故知新
今天看网络编程，又重新看了一遍三次握手，以前只知道连接有三次握手，今天发现原来断开也有三次握手。 三次握手：指通信双方彼此交换三次信息。 三次握手是在存在数据报丢失、重复和延迟的情况下，确保通信双方信息交换确定性的充分必要条件。CR:请求连接ACC:接收连接请求SEQ：信息序列号DR:终止连接三次握手的操作过程如下： 1.建立连接时的三次握手正常情况CR出现重复
2016-02-25 21:37:56
1499
原创 Opencv日常之Homography
什么是Homography 在图1中有两张书的平面图，两张图分别有四个相对位置相同的点，Homography就是一个变换（3*3矩阵），将一张图中的点映射到另一张图中对应的点 因为Homography是一个3*3矩阵，所以可以写成 H=⎡⎣⎢h00h10h20h01h11h21h02h12h22⎤⎦⎥H = \begin{bmatrix} h00&h01 & h02 \\ h10&
2016-02-23 09:14:14
49266
5
原创 opencv学习日常之Mat的代数运算
opencv 矩阵的代数运算，注意点： Mat m0,m1,m2; m2 = m1 和 m2 = m0 +m1;m2 = m1 : 两个矩阵的data指针指向同一块数据域m2 = m0+m1: 首先 m0 和m1对应的位置相加，然后为m2重新开辟数据域存储新的数据Mat的代数运算如下列表：**m0 + m1, m0 – m1;** // Addition or subtractio
2015-10-24 21:26:44
1501
转载 C++类中 虚函数与纯虚函数的区别和作用
在C++的面试题中经常会被问到虚函数与纯虚函数的区别和作用，在此做个总结。 主要是借鉴了这篇博客：http://blog.csdn.net/hackbuteer1/article/details/7558868虚函数与纯虚函数在声明的形式上的区别;virtual void funtion1()=0 //纯虚函数virtual void funtion2() //虚函数定义一个函数为虚函数
2015-10-23 23:31:24
646
原创 成员函数 加 const 的作用
函数后面加const在函数后面加const，表明这个成员函数不能改变类的成员变量的值 ，但是如果处于特殊的目的，非要改变呢？ 那么，就可以在定义成员变量的时候，加上mutable 关键字class CTest{public: bool GetData() const { m_n1++; return m_b2; }private:
2015-10-22 10:40:39
568
转载 Oencv2 安装目录中 各个头文件的用途
本文引用于 Learning Opencv 2th；include “opencv2/core/core_c.h”Old C data structures and arithmetic routines.include “opencv2/core/core.hpp”New C++ data structures and arithmetic routines.include “opencv2/f
2015-10-19 15:01:47
847
原创 opencv日常学习之approxPolyDP函数和boundingRect函数说明
opencv中利用函数approxPolyDP来对指定的点集进行逼近，其逼近的精度是可设置的 对应的函数为：void approxPolyDP(InputArray curve, OutputArray approxCurve, double epsilon, bool closed)；InputArray curve：输入的点集 OutputArray approxCurve：输出的点集，当前
2015-09-07 19:31:28
8815
原创 opencv “未声明的标识符：SurfFeatureDetector”问题解决办法
在VS中使用opencv2.4.X版本的时候，如果使用SurfFeatureDetector（或者SiftFeatureDetector）做特征点检测的时候，按照官方文档上的示例代码include头文件为：opencv2/features2d/features2d.hpp，则会出现如下报错：errorC2065: “SurfFeatureDetector”: 未声明的标识符。1、实际上2.4.X版本
2015-09-06 16:29:05
7249
原创 opencv日常学习之给ROI,以及给图片加水印
利用ROI（感兴趣区域）给图片加水印； ROI被当做一个普通的Mat实例来处理，不过关键之处在于，ROI和父图像指向同一块内存区域。 实现代码如下：#include "stdafx.h"#include <opencv2/opencv.hpp>using namespace cv;int _tmain(int argc, _TCHAR* argv[]){ Mat image = i
2015-08-22 21:01:09
2838
原创 Mat矩阵 成员函数 和成员变量 总结
1. clone() 创建一个图像的深拷贝Mat image; image = cv::imread("boldt.jpg"); Mat cloneimage = image.clone();2. create()函数 result.create(image.rows,image.cols,image.type()); create函数创建的图像的内存是连续的，不会对图像的行进行填补，分
2015-08-22 18:17:22
1132
原创 opencv学习日常之随机数发生器RNG
Random Number Generator（随机数发生器对象）RNGRNG rng( 0xFFFFFFFF)RNG实现了一个随机数发生器。 在上面的例子中, rng 是用数值 0xFFFFFFFF 来实例化的一个RNG对象。 下面通过opencv绘图功能来了解RNG 代码：#include<opencv2/opencv.hpp>#include <iostream>#define wind
2015-07-02 22:41:28
1322
原创 opencv学习日常之“Saturation Casting“转换saturate_cast<>（）
“Saturation Casting“转换saturate_cast<>（）在opencv中，对计算式进行计算的时候经常会出现值溢出（上溢出或下溢出），尤其是对无符号数值进行加减操作时。opencv中使用Saturation Casting“转换很好的解决这个问题，使用saturate_cast<>（），opencv对数组或矩阵进行代数运算或其他操作时，会自动检测underflows and ov
2015-06-30 22:40:37
3511
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人