【智路】智路OS Perception Pipeline

gikod

已于 2024-09-17 10:28:52 修改

阅读量290

点赞数 8

分类专栏：智能交通文章标签：自动驾驶交通物流物联网云计算

于 2024-09-13 20:14:25 首次发布

本文链接：https://blog.csdn.net/gikod/article/details/142219285

版权

智能交通专栏收录该内容

15 篇文章 0 订阅

订阅专栏

Perception Pipeline

1 模块介绍

功能	文档链接
单相机感知	Perception Camera Service
多传感器融合	Perception Fusion Service
Lidar感知检测	Perception Lidar Service

2 快速开始

获取项目产出

bash docker/scripts/docker_start.sh # 拉取docker镜像并启动容器
bash docker/scripts/docker_into.sh # 进入docker容器
bash build_airos.sh release # 编译且发布

运行感知Pipeline，执行以下命令：

source /home/airos/os/setup.bash # 初始化运行环境
airos_launch perception # 拉起感知pipeline

运行感知可视化，执行以下命令：

source /home/airos/os/setup.bash # 初始化运行环境
airos_launch camera_viz # 拉起相机感知可视化
airos_launch fusion_viz # 拉起多传感器融合可视化

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gikod

关注关注

8
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【智路】智路OS Perception Fusion Service

我的博客

09-15

443

3D融合关联模块基于概率分布模型来建立关联矩阵，对于关联融合所需的所有维度的信息（障碍物位置、类别、尺寸、车道信息、轨迹等），通过其概率分布来得到融合概率分布，概率最高点则为融合后的结果，协方差则为本次融合结果的置信度及融合分布。该方案关键在于推导多维概率分布相乘后的分布模型，以及确定每一个维度分布形式并估计分布的参数，并对各个维度解耦，在各自维度上进行概率融合。每个维度的概率融合都会对关联进行check。关联内核：匈牙利匹配。

【智路】智路OS Perception Camera Service

我的博客

09-15

461

通过深度学习算法实现物体识别，包括物体类别、2D框、长宽高、朝向角、底面中心点图像坐标等信息。输入图像首先经过yolov3的backbone进行特征提取，2D阶段输出目标的类别、置信度以及2D框，3D阶段输出目标的长宽高、朝向角以及物体底面中心点的2D坐标。根据模型预测的图像坐标系下底面中心点的图像坐标（u，v），利用地面方程和相机内参，计算得到相机坐标系下底面中心点的3D坐标（X, Y, Z）。然后，利用模型预测的物体高度h，计算得到物体中心点在相机坐标系下的3D坐标。

参与评论您还未登录，请先登录后发表或查看评论

【智路】智路OS Perception Lidar Service

我的博客

09-15

210

智路OS未提供Lidar感知的算法示例实现，请根据实际需求，基于Lidar检测框架自行实现。Lidar感知模块的主要任务是接收激光雷达的点云数据，通过算法识别点云中的障碍物。

【智路】智路OS airos-edge

我的博客

09-13

907

智路OS是一套完整的软件和服务开放系统，由路侧操作系统（airos-edge），车端（airos-vehicle）和云端开发者平台共同构成，为行业提供了统一的车路云开发环境。其中airos-edge自下而上分别由内核层，硬件抽象层、中间件层和服务层构成；airos-vehicle由V2X协议栈和应用服务框架组成；云端开放平台为开发者提供了标定，标注等开箱即用的工具集；开发者可基于智路OS快速搭建一套完整的车路协同或其他智能交通系统。

【智路】智路OS 服务组件开发

我的博客

09-17

1154

对于单相机检测模块，智路OS框架提供的输入是从camera视频解码的实时RGB图像数据，模块的输出为智路OS定义的感知障碍物结构化数据，单相机检测模块内部的算法和pipeline可以由开发者自定义。对于多传感器融合模块，智路OS框架提供的输入是多个传感器检测的感知障碍物结构化数据，模块的输出为智路OS定义的感知障碍物融合结构化数据，内部的相关的算法可以由开发者自定义。智路OS规定的传入Lidar感知的数据格式，开发者实现Perception接口时，根据传入的点云进行目标检测、跟踪等处理最终输出感知数据。

【智路】智路OS 设备接入开发

我的博客

09-17

667

智路OS规定的写入RSU接入模块和RSU模块输出的数据格式，开发者在继承抽象基类RSUDevice后，调用内部的RSUCallBack将数据发送给智路OS框架，数据为从RSU接收的数据，例如BSM，智路OS框架会将需要RSU发送的数据通过WriteToDevice写入设备接入模块，接入程序解析数据并将编码后的数据发送给RSU。公共参数配置了每个路口的RSU、信号灯、相机、Lidar等设备的参数，在自定义实现中可以读取设备参数进行设备连接，智路OS会在调用Init接口时传入参数路径或结构数据。

MoveIt教程[18]：Perception Pipeline Tutorial

NLP工程化

01-20

2010

MoveIt允许使用Octomap无缝集成3D传感器。一旦正确配置，应该看到这样的东西在rviz中。一.Configuration 在本节中，将使用MoveIt配置机器人上的3D传感器。MoveIt的主要组件处理3D感知的是Occupancy Map Updater。更新程序使用插件架构来处理不同类型的输入。MoveIt中当前可用的插件是： The PointCloud Occupancy M...

Transformer BEV perception

https://github.com/heatMa

04-12

1809

4.1-4.10日，花了约15个小时，入门了transformer和基于Transformer的BEV perception，记录一下分享给志同道合的人，以下是学习路径。一、 Transformer原理李宏毅2021深度学习课程，看了3遍self-attention和Transformer的原理，勉强看懂。因为这里是用语音识别作为例子的，和图片应用还是有点不一样。 DETR论文，官方代码。官方推理代码一定要看一下，很简单，而且在网页上能直接运行，非常有助于加深理解。两个B站的讲解视频：

Apollo planning模块pipeline详细分析

bitcarmanlee的博客

05-24

2288

1.apollo整体结构最近利用工作业余时间，抽空学习一下apollo项目的源码。整体来说，apollo的代码量还是挺大，对于入门时间不长的新手来说，逻辑也不是太容易一眼看懂。因此，结合源码以及其他相关理解分析材料，先重点了解了一下apollo中的planning模块也就是规控模块的，把整个planning模块的pipeline大致理清。本文参考的代码均为apollo 7.0版本，apollo项目github地址上有一张图，反应了整个系统的结构 2.Planning模块框架 planning模块，包含

OPV2V-An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle通信

qq_41545537的博客

05-17

428

OPVAV论文解析

Factor Graphs for Robot Perception.pdf

04-27

We review the use of factor graphs for the modeling and solving of ...factor graphs for robot perception, showing the broad impact factor graphs had in robot perception. （只有第一章内容，我也才发现）

com.unity.perception:用于Sim2real培训和验证的Perception工具包

04-06

Perception软件包提供了一个工具包，用于生成用于计算机视觉训练和验证的大规模数据集。目前，它专注于少数几个基于相机的用例，并将最终扩展到其他形式的传感器和机器学习任务。访问页面以获取有关我们工具和...

sensitivity_model_v4.zip_Human Perception_perception_sensitivity

07-15

在这个模型中，“human_perception”指的是人类的五种主要感知系统：视觉、听觉、触觉、嗅觉和味觉。然而，通常在IT应用中，视觉感知是最主要研究的部分，因为它在人机交互中起着核心作用。 "perception"是指人们对...

自动驾驶系列—加速自动驾驶系统开发：多型号SoC快速适配的最佳实践

最新发布

u013889591的专栏

10-16

1688

随着自动驾驶技术的发展，车辆智能化的需求日益增加，芯片（SoC，System on Chip）成为自动驾驶系统中不可或缺的核心组件。不同的汽车制造商和技术公司可能在不同的平台和硬件架构上构建其自动驾驶系统。因此，如何让一个自动驾驶系统能够快速适配多种不同型号的SoC成为了一个关键问题。SoC的性能决定了自动驾驶系统在数据处理、环境感知、决策和控制等方面的效率。然而，由于SoC的硬件架构、处理能力、内存布局和通信接口的差异，开发团队需要针对每种SoC做出相应的适配工作。

自动驾驶中的图像识别技术：安全与效率的双赢

matlabgoodboy的博客

10-15

383

自动驾驶技术近年来取得了显著进展，而作为自动驾驶的核心组成部分，在保障安全与提高效率方面发挥着至关重要的作用。以下是对自动驾驶中图像识别技术的详细阐述，展现其如何实现安全与效率的双赢。

腾讯云发布交通物流数字底座助力推动智能化转型和融合创新发展

csdnsqst0046的博客

09-07

420

腾讯TCE向上提供池化服务，向下纳管异构硬件，充分复用公有云能力，覆盖计算、存储、网络、安全、数据库等近百个产品，在安全可靠的前提下，针对交通不同阶段不同方向业务的异构部署特征，为交通企业提供了安全、可靠、高效的云服务。近年来，交通物流行业持续与数字技术融合，智慧交通、智慧物流取得了显著的成绩。腾讯云副总裁李学朝表示，腾讯云顺应交通物流行业智能化转型趋势，以及国家融合创新发展布局，希望通过打造这样一个数字底座，助力推动行业转型升级，同时腾讯云也希望将底座能力开放给生态伙伴，共同服务好客户，实现协作共赢。

物联网IoT平台 | 物联网IoT平台的定义

云腾五洲官方博客

10-12

583

近年来，随着移动互联网技术的普及和云计算技术的成熟，物联网IoT平台的发展进入了一个新阶段，数据的收集和分析能力大大增强，应用场景也更加多样化。智能家居是物联网应用的典型代表，通过物联网技术，家庭中的各种设备和系统可以实现智能化控制和管理。随着技术的不断进步和应用场景的不断拓展，我们有理由相信，物联网IoT平台将在未来发挥更加重要的作用，推动社会向更加智能、更加便捷的方向发展。本文将深入探讨物联网IoT平台的定义、发展历程、应用领域，并特别介绍ThingsKit物联网平台在物联网IoT平台中的重要地位。

基于STM32设计的智能婴儿床(华为云IOT)(244)

10-15

472

本文介绍了一款基于STM32设计的智能婴儿床项目，通过集成先进的传感器技术和物联网(IoT)解决方案，为婴幼儿提供一个安全、舒适且智能监控的睡眠环境。该系统集成了光照、温湿度检测、尿床警报、哭声响应、WIFI通信、远程视频监控以及手机APP控制等多种功能。

Linux云计算 |【第五阶段】ARCHITECTURE-DAY2

小安的运维专栏

10-12

1497

搭建Logstash完成ELK集群、实现Web日志实时分析

apollo 启用 perception 模拟

11-28

Apollo是一款开放式自动驾驶平台，而Perception（感知）模块是Apollo平台的重要组成部分。Apollo启用Perception模拟是指为了更好地模拟自动驾驶车辆感知环境的能力。在自动驾驶技术中，感知指的是自动驾驶车辆通过...