- 博客(906)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 使用传感器融合进行3D激光雷达点云运动补偿
自我车辆运动会导致从附加激光雷达传感器收集的点云数据失真。失真程度取决于自车速度和激光雷达传感器的扫描速率。机械激光雷达传感器通过旋转反射激光脉冲的镜子来扫描环境，并生成周围环境的点云数据。该镜子的旋转速度决定了传感器的扫描速率。激光雷达传感器生成点云数据，假设每次测量都是从同一视点捕获的，但自我车辆运动会改变镜子的旋转，从而改变传感器捕获数据的视点。假设视点和实际视点之间的差异会导致生成的点云失真。该图显示了当自我车辆移动时如何发生失真以及如何通过使用点云中每个点的自我车辆姿态来补偿失真的顶视图。
2024-10-30 11:14:33
223
原创 相机内参标定
Camera Calibration是ROS提供的一个用于单目或者双目相机标定的包，可以十分方便地使用。使用的标定板是棋盘格(Chessboard)，而非AprilTag。官网见这里。其实在官网上写了，这个包基于OpenCV实现，原理是一样的。在官网给出了利用它标定单目和双目相机的例子，感兴趣可以参考。安装标定功能包打印棋盘格：可直接下载此文件并打印（原尺寸居中）出来：棋盘格标定板标定原理启动标定：c.按照提示移动不停移动，等”CALIBRATE”按钮变绿以后，就可以点击标定了。
2024-10-25 09:33:45
320
原创 多传感器硬同步学习
多传感器硬同步（Hardware Synchronization）的过程是指通过硬件信号使多个传感器在同一时刻进行数据采集，以确保不同传感器的数据具有相同的时间基准。以下是多传感器硬同步的简要步骤：主时钟源（同步信号源）：选择一个主时钟源，通常是高精度时钟（如GPS、PPS信号或高频时钟脉冲），作为所有传感器的时间基准。该时钟源通过硬件接口（如信号线）向其他传感器发送同步信号。传感器接口设置：各个传感器需要有同步接口，通常通过硬件触发输入（trigger input）或外部时钟输入端口接受同步信号。
2024-10-23 21:04:39
84
原创 利用彩色相机给激光点云染色
在激光SLAM（Simultaneous Localization and Mapping）中，使用彩色相机为激光点云染色是一个常见的做法。这种技术结合了激光雷达的高精度距离测量和相机的丰富色彩信息，使得生成的点云不仅包含空间位置信息，还包含颜色信息，从而更直观和细节丰富。传感器校准： 目的是确定激光雷达和相机之间的外部参数（旋转和平移矩阵），以及相机的内部参数（焦距、主点、畸变系数等）。
2024-10-23 13:40:38
914
原创 在ros中sensor_msgs/CompressedImage在线转sensor_msgs/Image
在ROS中使用image_transport可以有效地管理图像传输，并支持多种传输插件格式，包括压缩图像格式。为了使用image_transport将 sensor_msgs/CompressedImage 转换为 sensor_msgs/Image，我们需要稍作修改。image_transport 提供了更为灵活和高效的方式来订阅和发布图像消息。这样，你就可以在 image_transport 框架下完成从压缩图像到非压缩图像的转换和发布流程了。在launch文件中，加入以下命令。
2024-10-22 17:52:46
56
原创 slam技术支持下的果园作物估产论文汇总
我们介绍了FruitNeRF，一个统一的新的水果计数框架，利用最先进的视图合成方法直接在3D中计数任何水果类型。我们的框架采用一组由单眼相机捕获的无序姿态图像，并在每张图像中分割水果。为了使我们的系统独立于水果类型，我们使用了一个基础模型，为任何水果生成二进制分割掩模。利用RGB和语义这两种模式，我们训练了一个语义神经辐射场。通过对隐式果场的均匀体积采样，得到了纯果点云。通过对提取的点云进行级联聚类，实现了精确的果实计数。
2024-10-22 15:07:46
686
原创 KD-Tree-KNN Search学习笔记
树的每个内部节点代表点云的一个子集，并根据选定的坐标轴分为两个子节点。因此，点云分析的第一步也是主要步骤是将点配对以进行有意义的比较。当数据点分布不均匀时，空间的某些区域可能比其他区域拥有更多的点。然后算法递归遍历包含最近点的子节点，直到找到最近点。当树中的某些节点比其他节点拥有更多的点时，就会发生这种情况。尽管网格采样是点配对的替代方法，但由于子采样过程（可能包括平均），它仍然会比点配对产生更粗糙的数据。最后，它返回最近点的坐标。另一方面，与网格采样相比，点配对排除了平均，并产生更深入、更细粒度的结果。
2024-10-22 10:25:27
33
原创 可视化rosbag包话题的时间戳
时间戳将绘制在一个图表中，其中x轴表示时间（以秒为单位），y轴表示话题名称。每个话题的时间戳将显示为图表中的一个折线。您可以使用图表中的缩放和平移工具来调整视图。通过这种可视化，您可以轻松对比不同话题的时间戳，并识别任何时间戳不一致或延迟。在rqt_bag窗口中，单击“打开”按钮并选择要可视化的ROS bag文件。选择要对比的时间戳的话题。为此，请在“主题”选项卡中选中相应的复选框。在“图表”选项卡中，选择“时间戳”作为要绘制的字段。单击“播放”按钮开始可视化时间戳。输入以下命令启动rqt_bag。
2024-10-22 09:01:23
59
原创 FAST-LIVO复现
PS:可能遇到的问题 CV_* ’was not declared in this scope，opencv4部分命名发生变换，将CV_WINDOW_AUTOSIZE改为WINDOW_AUTOSIZE；CV_TM_SQDIFF_NORMED改为TM_SQDIFF_NORMED。FAST-LIVO通过使用LiDAR点云建立环境地图，IMU提供高频率的动态信息，视觉传感器提供纹理信息，综合这些数据源来提高定位的精度和鲁棒性。这种多传感器融合的方法使其在动态和复杂环境中也能保持高精度的位姿估计。
2024-10-15 16:58:16
373
原创 视觉雷达融合的多目标跟踪论文汇总
本文提出了一种结合照相机和激光雷达数据的自动驾驶汽车多模态多目标跟踪（MOT）算法。相机帧使用最先进的三维物体探测器进行处理，而经典的聚类技术被用于处理激光雷达的观测结果。所提出的MOT算法包括一个三步进关联过程、一个用于估计每个被检测到的动态障碍的运动的扩展卡尔曼滤波器和一个轨迹管理阶段。EKF运动模型需要当前测量的被观测物体的相对位置和方向，以及自我车辆的纵向和角速度作为输入。与大多数最先进的多模态MOT方法不同，所提出的算法不依赖于地图或自我全局姿态的知识。
2024-10-15 14:46:50
845
原创 使用CMake构建C动态库
在第 50–55 行 (SET_TARGET_PROPERTIES ) 中，我们定义 PUBLIC_HEADER 参数，该参数声明哪些头文件 (.h) 将被视为外部文件（在示例中为 ).这些文件将使用 INSTALL 指令在系统内传播（参见第 65 行），以便其他程序在编译时将它们包含在其源代码中，并链接到库 文件在链接时。这里有一些有趣的事情。在第 20 行，您可以看到一个名为 compute 的更“复杂”的函数，它接受两个双精度数作为输入（操作的操作数）和一个定义要执行的操作的 enum他们。
2024-10-08 20:27:25
1167
原创 BUG记录:add_library cannot create ALIAS target “TensorRT::TensorRT“
为了修复你遇到的 add_library 错误，可以修改 FindTensorRT.cmake 使得 TensorRT 目标可以全局可见或者调整别名的创建方式。
2024-10-08 16:47:36
110
原创 多目标跟踪中的关联代价函数
因此，当试图将一个对象与丢失的几帧前的轨迹关联起来时，IoU可能会失败，因为边界框可能不会由于对象在丢失期间的运动而重叠。其中，∆h（box1，box2）表示边界框之间的高度差，而∆w（box1，box2）表示它们的宽度差。此外，hc和wc表示包含两个边界框的最小矩形的高度和宽度。为了解决这个问题，引入了DIoU，它使用边界盒中心之间的欧氏距离作为相似性度量。IOU有个主要的缺点，如果|A∩B|=0，IoU（A，B）=0。为了克服这一限制，引入了EIoU，其中包括边界框的宽度和高度的一致性。
2024-09-25 10:54:31
409
原创 大田上的路径跟踪论文汇总
自动地头转弯是农业作业中的重要组成部分。最小化时间和行驶距离，最大限度地提高车辆的运行效率是当前关注的问题。本研究试图提出一种基于非对称开关回转法的四轮车辆动态转弯路径规划方法。当农用车辆在现场滑动时，该算法将根据车辆的实时位置动态重新规划路线，以提高运行效率，减少频繁调整方向盘造成的机械磨损。仿真结果表明，当行宽为2m，并添加一些噪声时，该算法规划的轨迹长度减少了31.42 %，横向偏差降低了95.65 %。
2024-09-19 15:57:46
637
原创 基于Sparse Optical Flow 的Homography estimation
【代码】基于Sparse Optical Flow 的Homography estimation。
2024-09-18 20:19:10
522
原创 基于SIFT / ORB的Homography estimation
【代码】基于SIFT / ORB的Homography estimation。
2024-09-18 20:06:50
408
原创 使用yoloPose进行单目行人距离估计
YOLOv8 是由 Ultralytics 开发的最新版本的 YOLO（You Only Look Once）系列模型，以其速度和准确度著称。YOLOv8-pose 结合了对象检测与关键点检测的能力，能够在图像和视频中准确地检测和定位人体的关节点（如头部、肩膀、肘部、膝盖等），从而推断出人体的姿态。找出肩膀和髋关节的关键点，肩膀到髋关节的距离假设为0.5m，并计算其在像素空间上的欧式距离，结合焦距F便可估计出距离。
2024-09-05 14:14:00
327
原创 多目标跟踪数据集制作——darklabel
DarkLabel 是一个用于多目标跟踪 (MOT) 数据集制作的工具，主要用于标注视频中的目标，并为后续的跟踪算法提供高质量的数据。它的功能和特点包括：易用性：DarkLabel 提供了用户友好的界面，使得标注过程更加直观和高效。用户可以轻松地加载视频，进行目标标注和跟踪。多目标标注：支持同时标注多个目标，用户可以为每个目标分配唯一的标识符，这对于多目标跟踪任务至关重要。动态调整：用户可以根据视频内容的变化，动态调整标注框的位置和大小，以适应目标的运动和变化。
2024-09-03 16:05:36
792
2
原创 基于lightglue的Homography estimation
在实验中，LightGlue被作为SuperGlue的替代方案，能够以更少的运行时间预测出强大的匹配结果。该方法的创新之处在于其智能计算的能力，通过内省机制和早期剔除无效点，极大地提高了模型的效率。在实际应用中，LightGlue展现了作为SuperGlue替代方案的潜力，特别是在处理速度和资源利用上。在该论文的方法部分中，作者提出了一种名为LightGlue的方法，并详细描述了其在视觉信息处理中的创新性。这篇论文的方法部分展现了作者对计算资源管理的创新思考，利用深度学习的方法实现了高效的2D图像匹配。
2024-08-27 14:56:33
364
原创 基于superglue的Homography estimation
SuperGlue方法通过将特征匹配问题视为在两组局部特征之间找到部分分配的问题，重新审视了基于图的经典匹配策略。它通过解决线性分配问题，将其松弛为一个可微分的最优传输问题，从而实现了特征匹配过程的端到端学习。核心方法：传统方法通常通过学习任务无关的局部特征，然后使用简单的匹配启发式方法和技巧来进行特征匹配。SuperGlue摒弃了这种方式，转而从预先提取的局部特征中学习匹配过程。
2024-08-22 17:44:57
576
原创 复现 LET-NET
稀疏光流法是计算机视觉中的一项基本任务。然而，它依赖于恒定的假设限制了其在高动态范围（HDR）场景中的适用性。在本研究中，我们提出了一种新的方法，旨在通过学习一个对光照变化具有鲁棒性的特征映射来超越图像的颜色信息。该特征图随后被构造成一个特征金字塔，并集成到稀疏的Lucas-Kanade（LK）光流中。通过采用这种混合光流方法，我们克服了亮度常数假设的限制。具体来说，我们利用一个轻量级的网络从图像中提取特征图和关键点。考虑到为浅层网络获得可靠的关键点的挑战，我们采用了一个额外的深度网络来支持训练过程。
2024-08-20 20:03:06
519
原创 基于RIFE的光流估计
RIFE，一种用于视频帧插值（VFI）的实时中间流估计算法。许多最近基于流动的VFI方法首先估计双向光流，然后将它们缩放和反转为近似的中间流，从而导致运动边界和复杂管道上的伪影。RIFE使用一个名为IFNet的神经网络，该神经网络可以直接估计从粗到细的中间流量，速度要快得多。RIFE 不依赖于预训练的光流模型，并且可以支持使用时间编码输入进行任意时间步长帧插值。与流行的 SuperSlomo 和 DAIN 方法相比，RIFE 快 4–27 倍，产生更好的结果。
2024-08-20 13:43:06
798
原创 使用RAFT的深度光流
光流是像素在图像序列中的表观运动。为了估计光流，场景中物体的运动必须具有相应的亮度位移。这意味着一张图像中移动的红球在下一张图像中应该具有相同的亮度和颜色，这使我们能够确定它在像素方面移动了多少。图 1 显示了一个光流示例，其中逆时针旋转的吊扇被一系列图像捕获。最右边的彩色图像包含了从第 1 帧到第 2 帧每个像素的明显运动轨迹，并进行了颜色编码，不同的颜色表示像素运动的不同水平和垂直方向。这就是密集光流估计的一个例子。密集光流估计为每个像素分配一个二维光流向量，描述其在时间间隔内的水平和垂直位移。
2024-08-19 14:30:57
1325
原创 角点检测——良好特征的跟踪功能
现在，考虑一下我们是否需要查看图像的角落或重要点的时间变化。我的意思是如果我们想随着时间的推移跟踪一些物体。是的，此时 GFTT 来帮助我们了。如果任何方向上的强度发生相当大的变化，GFTT 会将其标记为潜在的关键点。是的，我们几乎可以说它们是相同的。好的特征是必不可少的，因为它们为跟踪提供了稳定的点。GFTT：它不是根据阈值选择角点，而是选择具有最高特征值的前 N 个角点。blockSize：用于计算 Harris 角点响应的像素邻域的大小。如果提供，它指定将检测角点的区域。所有参数都会影响输出。
2024-08-19 10:53:54
900
原创 Affine Transformations仿射变换
仿射变换（Affine Transformation）是数学和计算机图形学中的一种线性变换，它包括了平移、旋转、缩放、剪切等操作。仿射变换保留了几何图形的“仿射性质”，即平行线在变换后仍然平行，线性组合在变换后仍然是线性组合，并且保持点的相对顺序和比例关系，但不一定保持角度和距离。在二维空间中，仿射变换可以用一个2×2的矩阵和一个2×1的平移向量来表示。具体来说，如果我们有一个点xy，其变换后的新位置x′y′可以通过以下公式得到：其中，矩阵acbd。
2024-08-19 10:16:35
838
原创 光流运动估计教程
让我们从对光流的高层次理解开始。光流是对象在序列的连续帧之间的运动，由对象和相机之间的相对运动引起。光流问题可以表示为：光流问题在连续帧之间，我们可以将图像强度 (I) 表示为空间 (x,y) 和时间 (t) 的函数。换句话说，如果我们获取第一张图像 I(x,y,t) 并在 t 时间内将其像素移动 (dx,dy)，我们将获得新图像 I(x+dx,y+dy,t+dt) ）。首先，我们假设物体的像素强度在连续帧之间是恒定的。光流的恒定强度假设其次，我们采用RHS的泰勒级数近似，并去除常用项。
2024-08-16 13:43:38
965
原创 使用光流进行相机运动估计
当我之前谈到不同的观点时，我的意思是在编写代码之前，我们需要弄清楚如何解释 panning 和 trucking 之间的区别。在这篇文章中，我们将使用平移和推车的示例来介绍区分移动的概念。对于其他组合（例如变焦和推车），可能需要采用不同的方法。卡车运输时，场景中的所有物体都以相同的速度移动。然而，在平移时，距离摄像机较近的物体移动速度比距离摄像机较远的物体快。因此，我们的想法是比较视频中不同物体的速度差异。如果差异高于某个阈值——视频就会发生平移，否则——卡车。它的效果出奇地好，但不幸的是也有其局限性。
2024-08-16 09:06:51
488
原创 基于danceTrack数据集进行精度评定
DanceTrack提供框和身份注释。它包含100个视频，40个用于训练(注释公共)，25个用于验证(注释公共)，35个用于测试(注释非公共)。DanceTrack是一个基准数据集，用于在统一的外观和不同的运动中跟踪多个对象。PS： 需要修改GT的目录和跟踪结果目录。PS: 请根据自己的代码进行修改。
2024-08-15 10:37:59
546
原创 实时目标跟踪类论文汇总
随着速度方向的变化，我们引入了置信度和高度状态作为潜在的弱线索。此外，通过强线索和弱线索，我们的方法Hybrid-SORT在不同的基准上取得了优越的性能，包括MOT17、MOT20、MOT20，特别是在舞蹈跟踪中，在复杂的运动中经常发生交互和严重的阻塞。在本文中，我们提出了一种新的鲁棒的最先进的跟踪器，它可以结合运动和外观信息的优点，以及相机运动补偿，和一个更精确的卡尔曼滤波状态向量。尽管只使用了一个熟悉的技术的基本组合，如卡尔曼滤波器和匈牙利算法的跟踪组件，这种方法实现了与最先进的在线跟踪器相当的精度。
2024-08-14 15:23:17
1186
原创 农业上的目标跟踪论文汇总
野外动态障碍物的多目标跟踪（MOT）是农业机器人实现动态避障的重要前提。农村地区复杂、不可预测的道路环境会对机器人造成严重的振动，影响摄像机的姿势，从而导致物体匹配错误。因此，我们提出了一种改进的方法，即深度感知观测中心简单在线实时跟踪（DA-OCSORT），其中包括两个新模块，即基于惯性测量单元（IMU）的相机运动补偿（ICMC）和深度感知（DA）。该方法可以利用IMU信息对摄像机的自我运动进行补偿，并通过物体深度信息进行多维匹配，从而最大限度地减少摄像机运动对跟踪过程的影响。
2024-08-13 13:41:38
1145
原创 基于姿态的多目标跟踪论文代码汇总
在本文中，我们提出了一个简单而有效的框架，称为光跟踪，用于在线人体姿态跟踪。现有的方法通常在顺序阶段进行人工检测、姿态估计和跟踪，其中姿态跟踪视为离线二部匹配问题。我们提出的框架被设计为通用的、高效的和真正的在线的方法。为了提高效率，单人姿态跟踪（SPT）和视觉对象跟踪（VOT）被合并为一个统一的在线功能实体，很容易由一个可替换的单人姿态估计器实现。为了降低离线优化成本，该框架还将SPT与在线身份关联联系起来，并首次阐明了多人关键点跟踪与多目标对象跟踪（MOT）的桥梁。
2024-08-12 11:16:36
1024
原创 基于danceTrack相关论文代码列表
虽然这种假设对于非常短的闭塞时间是可以接受的，但对长时间运动的线性估计可能是非常不准确的。在这项工作中，我们证明了一个基本的卡尔曼滤波器仍然可以获得最先进的跟踪性能，如果采取适当的注意来修复在遮挡期间积累的噪声。我们不仅仅依赖于线性状态估计（即以估计为中心的方法），而是使用目标观测（即目标检测器的测量）来计算遮挡周期内的虚拟轨迹，以确定遮挡期间滤波器参数的误差积累。我们将我们的方法命名为以观察为中心的SORT（OC-SORT）。它仍然是简单的、在线和实时的，但提高了在遮挡和非线性运动时的鲁棒性。
2024-08-08 17:10:37
363
原创 SORT复现(python)
通过结合目标检测和目标跟踪，可以实现对动态场景中目标物体的实时定位和跟踪，为许多实际应用提供了重要的支持。目标跟踪：根据目标匹配的结果，进行目标跟踪。然后，通过比较目标的特征向量来匹配目标，在不同帧之间建立目标的对应关系。目标特征提取：在检测到目标之后，对目标物体进行特征提取，一般会使用卷积神经网络（CNN）来提取目标的特征向量。更新目标模型：在跟踪过程中，随着目标物体的运动和外观变化，可能需要根据新的检测结果和跟踪信息来更新目标的模型和特征描述，以提高跟踪的准确性和稳定性。首先查找该动态库文件地址。
2024-08-05 14:46:15
569
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人