- 博客(802)
- 资源 (9)
- 收藏
- 关注
RSS订阅
转载 强化学习的几个主要方法（策略梯度、PPO、REINFORCE实现等）---下
策略梯度算法在理想情况下，在采样次数足够多的情况下效果是能很不错的，但是当采样不够时就会出现一些问题，例如GtG_tGt的取值是很不稳定的，下图可以形象说明：由于GtG_tGt的取值不稳定，所以(st,at)(s_t, a_t)(st,at)更新也不稳定。由于GGG的值有点太不稳定太玄学了，因此我们可以想办法去用一个神经网络去预测在sss状态下采取行动aaa时对应的GGG期望值，之后再训练中我们就直接用这个期望值去替代采样的值。为了完成这个目的，我们可以使用基于价值的方法深度Q网络，深度Q网络有两种
2025-01-22 15:23:34
5418
转载 强化学习的几个主要方法（策略梯度、PPO、REINFORCE实现等）---上
策略梯度算法在理想情况下，在采样次数足够多的情况下效果是能很不错的，但是当采样不够时就会出现一些问题，例如GtG_tGt的取值是很不稳定的，下图可以形象说明：由于GtG_tGt的取值不稳定，所以(st,at)(s_t, a_t)(st,at)更新也不稳定。由于GGG的值有点太不稳定太玄学了，因此我们可以想办法去用一个神经网络去预测在sss状态下采取行动aaa时对应的GGG期望值，之后再训练中我们就直接用这个期望值去替代采样的值。为了完成这个目的，我们可以使用基于价值的方法深度Q网络，深度Q网络有两种
2025-01-22 15:21:31
5353
转载 看完这篇文章，我终于搞懂了 CMake，真香！(高级篇补充)
不要硬编码路径用相对路径，让用户通过文件会安装到和。更灵活，无需管理员权限，跨平台也好用！如果有一些头文件没有实现（比如接口、纯抽象类），可以用INTERFACE接口库（INTERFACE）用于配置一些公共的链接和编译选项，小型项目可能用得少，大型项目常见。CMake 是个强大的工具，但要用得好，还是需要一些技巧和经验。包管理和安装配置：重点是让你的库好用、易装。
2025-01-10 18:25:58
7690
转载 聊聊端到端自动驾驶通用感知架构的前世今生
这张图演示的是相关方法的演进。这其中大部分都是基于BEV的方法，上图就是BEV-based相关方法的相关演进, 用某种方式将图像视角特征转到BEV特征空间，也就是一个高度方向拍扁的自车3D坐标系空间下，再用一个检测的Head实现目标检测。BEV这张图的尺寸通常比较大，比如一般常见的论文里面会用128×128 size，但在实际中，我们甚至会用两倍大小的BEV特征图。从图像特征空间向BEV层空间转换过程，是一个非常密集的计算过程。
2024-10-23 10:33:10
4876
转载 空间坐标（系）如何进行变换？
要描述某一物体在现实场景的位置，通常以三维空间坐标系下的坐标进行说明，当物体位置或自身进行变化时，可以用放射变换说明物体的变化情况。根据现实情况，坐标系和物体可以相互描述，即二维平面坐标（系）变换的情况包括一个二维平面坐标系描述一个物体（坐标）变换情况和一个物体（坐标）在两个二维平面坐标系间的变换情况。根据现实情况，坐标系和物体可以相互描述，即三维空间坐标（系）变换的情况包括一个三维空间坐标系描述一个物体（坐标）变换情况和一个物体（坐标）在两个三维空间坐标系间的变换情况。[3] 你不来我不老.
2024-09-04 10:45:26
2264
原创 Clion 使用
默认情况下，CLion编译使用的CMake是其内置的一个版本，而使用这个版本的CMake进行编译时会报出一些莫名其妙的错误，命令行中catkin_make明明可以正常编译，而这里就是会失败。回到一开始的"Threads & Variables"窗口，左上角有一些控制按钮，从左到右依次是：Rerun（Ctrl+F5），Stop（Ctrl+F2），Resume（F9），Pause（暂时用不上），Step Over（F8），Step Into（F9），Step Out（Shift+F8）。
2024-08-31 16:21:38
10426
转载 IMU preintegration on manifold 学习笔记（一）
Posted on 2023-02-18 Edited on 2024-07-11 In vslam Views:ω∧=[ω_1ω_2ω_3]∧=[0−ω_3ω_2ω_30−ω_1−ω_2ω_10]=WW∨=[0−ω_3ω_2ω_30−ω_1−ω_2ω_10]∨=[ω_1ω_2ω_3]=ω\mathbf{\omega}^{\wedge}=\begin{bmatrix}\omega\_1\\ \omega\_2\\ \omega\_3\end{bmatrix}^{\wedge}=\begin{bmatrix}
2024-07-12 12:10:41
3669
原创 CMakeList整理大全
之前我们也整理过。但是这里面整理的内容其实是不全的。所以我们需要进一步将CMake的使用整理好。以供后面的学习的工程师来检索查询。
2024-04-29 14:41:26
18730
转载 Linux中.a、.so和.o文件以及-I，-L，LIBRARY_PATH，LD_LIBRARY_PATH等
(3) 修改/etc/ld.so.conf文件，把库所在的路径加到文件末尾(直接写在文件末尾，不要在路径前加include)，并执行ldconfig刷新（ldconfig 命令的用途,主要是在默认搜寻目录(/lib和/usr/lib)以及动态库配置文件/etc/ld.so.conf内所列的目录下,搜索出可共享的动态链接库(格式如前介绍,lib*.so*),进而创建出动态装入程序(ld.so)所需的连接和缓存文件.缓存文件默认为/etc/ld.so.cache,此文件保存已排好序的动态链接库名字列表.）。
2023-08-16 17:14:24
3820
原创 SLAM本质剖析番外-李群李代数的微分和导数
这几个月，博主已经从SLAM算法的使用向着算法的数学推导进行了记录和分享，之前也分享了一文，从现象中解释了李群和李代数表达的含义。但是这还不够，所以这次作者作为SLAM本质剖析的番外，来介绍李群李代数的微分和导数。
2023-01-16 16:10:19
11267
2
转载 undefined symbol问题的查找、定位与解决方法
而这块可以看到fpdf_parse_encrypt是依赖于下边的fx_crypt文件的，再看静态库，fpdf_parse_encrypt被编译成fpdfapi.a，而fx_crypt被编译进pdrm.a静态库，所以应该是fpdfapi.a要依赖于pdrm.a静态库的。ldd命令，可以查看对应的可执行文件或库文件依赖哪些库，但可执行文件或库文件要求与操作系统的编译器类型相同，即电脑是X86的GCC编译器，那么无法通过ldd命令查看ARM交叉编译器编译出来的可执行文件或库文件。
2022-12-14 14:53:39
11249
4
原创 自动驾驶-激光雷达预处理/特征提取
激光雷达作为自动驾驶最常用的传感器，经常需要使用激光雷达来做建图、定位和感知等任务。而这时候使用降低点云规模的预处理方法，可以能够去除无关区域的点以及降低点云规模。并能够给后续的PCL点云分割带来有效的收益。
2022-08-24 21:12:44
4885
2
原创 C++之生成器(builder)模式
0. 简介生成器是一种创建型设计模式， 当构建一个复杂对象时，将构建过程与表示分离。使得同样的过程创建不同的对象。生成器与其他创建型模式不同， 生成器不要求产品拥有通用接口。 这使得用相同的创建过程生成不同的产品成为可能。生成器方法通常支持方法链 （例如 someBuilder->setValueA(1)->setValueB(2)->create() ），来组成复杂的对象。相比于工厂模式专门用于生产一系列相关对象而言，生成器重点关注如何分步生成复杂对象。1. 生成器UML介绍生
2022-03-07 10:38:52
9567
4
原创 C++命名规则&书写规范
常见命名法：匈牙利命名法：基本原则是：变量名＝属性＋类型＋对象描述\color{blue}{变量名＝属性＋类型＋对象描述}变量名＝属性＋类型＋对象描述，其中每一对象的名称都要求有明确含义，可以取对象名字全称或名字的一部分。命名要基于容易记忆容易理解的原则。保证名字的连贯性是非常重要的。Camel命名法：即骆驼式命名法，原因是采用该命名法的名称看起来就像骆驼的驼峰一样高低起伏。Camel命名法有两种形式：混合使用大小写字母和单词之间加下划线\color{blue}{混合使用大小写字母和单词之间加下划线}混
2021-05-12 10:42:19
6060
2
原创 论文速读《Multi-Agent Embodied AI: Advances And Future Directions：多智体具身技术进展与未来发展方向》
《Multi-Agent Embodied AI: Advances And Future Directions》是一篇由北理工、南大、西安交大、浙大和同济大学联合发表的综述论文，系统回顾了多智体具身AI领域的最新进展。具身AI强调人工智能系统与物理实体的融合，使其能够通过传感器感知环境、通过执行器与环境交互，并根据现实世界的反馈进行学习和调整。论文首先介绍了具身AI的基础概念，包括多智体系统、强化学习等技术，并讨论了单智体情境中的具身AI。随后，论文将讨论扩展到多智体具身AI领域，重点介绍了相关技术和近期
2025-05-12 10:41:28
1108
原创 rl_sar代码详解与使用
rl_sar框架的设计旨在提供一个高效的强化学习训练环境，支持多种机器人平台，尤其是四足和人形机器人。该框架不仅可以在模拟环境中运行，还能将训练好的模型部署到实际机器人上，从而实现真实世界中的自主控制。强化学习算法的实现与训练机器人运动控制的仿真与验证实物机器人控制的部署支持多种机器人平台的扩展。
2025-05-08 11:17:00
1892
原创 机器人锂电池技术科普梳理
目前智能AGV机器人主要使用三大类电池：铅酸蓄电池、镍氢电池和锂电池。其中锂电池又可分为钢壳圆柱锂电池、磷酸铁锂电池、普通锂电池和高性能聚合物锂电池。表1：主要机器人电池类型对比电池类型能量密度循环寿命安全性成本环保性大电流放电能力铅酸蓄电池低中等高低差中镍氢电池中高高中好中钢壳圆柱锂电池高中中中高好高磷酸铁锂电池中高高很高中高好很高高性能聚合物锂电池很高中中高好很高由于环保要求提高和大倍率放电需求，铅酸蓄电池正逐步退出市场。
2025-05-08 11:16:40
1283
原创 Dense 与 MoE 系列模型架构的全面对比与应用策略
人工智能领域正经历着一场架构革命，从。本文将全面剖析这两种模型架构的本质差异、各自优势与挑战，并提供战略性的选择框架，帮助读者在实际应用中做出明智决策。
2025-05-08 11:16:08
1793
原创 exo：打造家用设备AI集群的开源解决方案
exo是一个由exolabs团队维护的开源项目，其核心理念是"在家中使用日常设备运行自己的AI集群"。不同于传统的单一高性能设备方案，exo允许用户将多种设备（如iPhone、iPad、Android、Mac、Linux等）连接在一起，形成一个虚拟的分布式GPU系统，共同完成AI模型的运行任务。想象一下，你可以同时利用家中的笔记本电脑、台式机、平板电脑甚至手机，组建一个个人AI集群，无需额外购买昂贵的专业硬件。这就是exo项目的愿景和价值所在。DiscordTelegramX许可证：GPL v3。
2025-05-08 11:15:50
1786
原创 清华团队DSAC系列算法详解
深度强化学习（Deep Reinforcement Learning, DRL）作为工业系统决策与控制的利器，正推动机器人控制、自动驾驶等领域的快速发展。然而，基于值函数的方法普遍面临一个棘手问题——。这种现象指的是算法在估计状态-动作价值时，往往高估了真实值，进而可能导致策略学习偏离最优，甚至训练不稳定。本文将带你深入了解清华大学团队提出的系列算法，如何从根本上缓解过估计问题，并在强化学习领域实现性能与稳定性的双重飞跃。
2025-05-08 11:15:35
1631
原创 传感器大小端详解
大小端（Endianness）是指计算机存储多字节数据时的字节顺序。计算机内存以字节为单位进行划分，每个地址对应一个字节。对于超过一个字节的数据类型（如int、float等），就需要决定这些字节在内存中的排列顺序。大端（Big Endian）：高位字节存放在低地址，低位字节存放在高地址。小端（Little Endian）：低位字节存放在低地址，高位字节存放在高地址。以32位整数0x12345678为例，在内存中的存储方式如下图所示：大端模式：内存从低到高依次存储小端模式：内存从低到高依次存储。
2025-05-08 11:15:14
1445
原创 使用 Docker 和 Docker Compose 安装与运行 ROS 1 CUDA教程
Docker是一种轻量级虚拟化技术，用于将应用及其所有依赖打包成容器，保证在任何环境中一致运行。是 Docker 官方提供的多容器编排工具，通过一个 YAML 文件定义多个服务的配置，简化多容器应用的启动与管理。Compose 主要解决了多容器应用的配置和部署问题。/bin/zsh# Source ROS1 环境# 如果 ROS1 工作空间不为空，构建它$(ls。
2025-05-08 11:14:46
1558
原创 论文速读《DARE：基于扩散模型的自主机器人探索新范式》
自主机器人探索任务要求机器人在未知环境中高效地构建地图。传统方法多依赖于当前认知状态进行路径优化，难以充分利用历史经验。新加坡国立大学提出的DARE（Diffusion Policy for Autonomous Robot Exploration）是一种基于扩散模型的生成式探索方法，通过专家演示数据训练，能够一次性生成高效的探索路径，并在模拟与现实环境中展现出优异的泛化能力。图1：来自DARE的示意路径。基于机器人对环境的认知（以占用栅格图表示），机器人（由坐标轴表示）构建了一个信息丰富的图谱。
2025-05-08 09:46:58
2357
原创 论文速读《Embodied-R: 基于强化学习激活预训练模型具身空间推理能力》
具身智能是通用人工智能的重要组成部分。我们希望预训练模型不仅能在信息空间中实现问答、多模态理解，还能像人一样在真实三维空间中基于连续的视觉观测实现感知、思考和动作。这意味着预训练模型在感知基础上，形成对环境的形而上的理解，并结合意图规划自我动作，比如：“总结历史动作轨迹”、“归纳自身与周围对象的空间关系”、"根据导航目标确定下一步的动作"等。图1：具身空间推理：任务与思维过程。我们从公共的具身视频数据集中识别出具有挑战性的任务，涵盖室内和室外场景。我们引入了慢思考的概念，以提升推理性能。
2025-05-06 11:39:31
2130
原创 论文速读：《CoM：从多模态人类视频中学习机器人操作，助力视觉语言模型推理与执行》
现代机器人教学的一个重要方向是让机器人通过观看人类的视频演示，自动学习并执行复杂的物理操作任务，比如拧瓶盖、插插头、打鼓等。然而，单纯依靠视觉信息，机器人很难捕捉到诸如施力大小、动作力度等细节参数，导致执行效果不佳。
2025-05-06 10:34:37
1767
转载 花生壳内网穿透 Putty 远程连接Ubuntu Server 24 服务器研发笔记
然而，有些软件包或脚本可能仍然依赖于 net-tools，所以需要使用 sudo apt install net-tools 安装，安装完成后再次运行 dpkg -i phddns_5.3.0_amd64.deb 确保花生壳安装成功。phddns start（启动）| status（状态）| stop（停止）|restart（重启）| reset（重置）|enable（开机自启动）|disable（关闭开机自启动）|version（版本），可以采用离线安装，羊大侠直接复制命令行，采用在线安装方式。
2025-05-01 11:42:57
450
转载 路径规划算法总结
在研究自主运动规划问题之前，首先需建立相对较为完整的自主运动规划体系，再由该体系作为指导，对自主运动规划的各项具体问题进行深入研究。本节将根据自主机器人的思维方式、运动形式、任务行为等特点，建立与之相适应的自主运动规划体系。并按照机器人的数量与规模，将自主运动规划分为单个机器人的运动规划与多机器人协同运动规划两类规划体系。运动规划系统是自主控制系统中主控单元的核心部分，因此有必要先研究自主控制系统和其主控单元的体系结构问题。自主控制技术研究至今，先后出现了多种体系结构形式，目前被广泛应用于实践的是分布式体系
2025-04-30 17:10:17
450
原创 论文速报《Flying Hand：以末端执行器为中心的统一空中操作框架》
在机器人技术飞速发展的今天，无人空中操纵器（UAMs）凭借其在高空复杂任务中的巨大潜力，正逐渐改变传统行业的作业模式。无人机辅助的高空设备维护、桥梁检测等应用可以大幅降低人力成本并提升作业安全性。然而，现有的空中操作研究往往面临一个关键问题：大多数平台和控制算法都是为特定任务量身定制，这极大地限制了技术的通用性和跨任务适应能力。图1. 所提出的框架和系统能够精准且稳健地完成多种典型的空中操作任务，例如(a) 写下“2025”，(b) 插钉入孔，© 拿取与放置，以及(d) 更换灯泡。
2025-04-30 15:14:24
1725
原创 论文速报《Enhancing Autonomous Driving Systems...：LLM-MPC混合架构增强自动驾驶》
自动驾驶领域的传统方法多依赖于数据驱动模型，通过大量标注数据训练实现路径规划和控制。然而，现实世界中道路临时施工、突发障碍物等极端场景难以完全涵盖，导致系统在特殊情况下表现不佳。与此同时，大语言模型在自然语言处理领域展现出强大的理解和推理能力，能够处理复杂指令和丰富知识推理。将LLM引入自动驾驶，尤其是本地端部署，既能利用其认知智能，又能避免云端延迟、隐私和安全隐患。图1：所提出的增强型大型语言模型（LLM）自主驾驶系统（ADS）的示意概述。
2025-04-28 15:17:55
1472
原创 论文速报《ChatBEV：理解BEV地图的视觉语言模型新突破》
近日，上海交通大学、上海人工智能实验室、同济大学与MAGIC团队联合推出了题为《ChatBEV: A Visual Language Model that Understands BEV Maps》的前沿论文，聚焦交通场景理解领域，特别是基于鸟瞰视图（BEV, Bird’s Eye View）地图的视觉语言模型（VLM）研究。
2025-04-27 15:02:55
2004
原创 ROS Bridge 进行数据传输实战
在机器人系统的开发中，数据传输是一个关键环节。ROS (Robot Operating System) 提供了一个灵活的框架来实现不同组件之间的通信。ROS Bridge 是一个强大的工具，它允许通过 WebSocket 和 HTTP 协议与 ROS 系统进行交互，尤其适用于 web 应用和移动设备的集成。这里面我们之前在《》文章中介绍了ROS bridge。我们这篇文章则进一步给出实战代码。
2025-04-23 13:59:40
2032
原创 模型预测控制MPC具身智能详解
模型预测控制（Model Predictive Control，简称MPC）是自动驾驶和机器人领域中一种强大的控制方法，它通过优化未来一段时间内的系统行为来实现控制目标。本文将从控制理论和优化的角度，深入浅出地介绍MPC及其在自动驾驶领域的应用。MPC由三个主要部分构成：PID图所示，两个回路之间没有交叉，就像二者是相互独立一样,如果系统（Plant）足够大，因为调参十分困难MPC的优势：可以处理多变量问题，并且可以添加约束制输入，并将第一个控制输入应用到系统中。
2025-04-23 13:57:29
2844
原创 radare2 入门与反汇编
如果现有的 Linux 原生工具也能做类似的事情，你自然会问为什么需要另一个工具。嗯，这和你用手机做闹钟、做笔记、做相机、听音乐、上网、偶尔打电话和接电话的原因是一样的。以前，使用单独的设备和工具处理这些功能 —— 比如拍照的实体相机，记笔记的小记事本，起床的床头闹钟等等。对用户来说，有一个设备来做多件（但相关的）事情是_方便的_。另外，杀手锏就是独立功能之间的_互操作性_。同样，即使许多 Linux 工具都有特定的用途，但在一个工具中捆绑类似（和更好）的功能是非常有用的。这就是为什么我认为。
2025-04-23 13:57:00
2151
原创 Kinematic-ICP阅读及使用
Kinematic-ICP 是一种 LiDAR 里程计方法，它将移动机器人运动的动力学约束显式地融入经典的点对点 ICP 算法中。之前我们在《》一文中介绍了其基本原理。这一篇文章中我们来看看对应的代码原理。
2025-04-23 13:56:35
2261
原创 相机雷达外参标定算法调研
相机与激光雷达的外参标定是自动驾驶、机器人等领域的基础工作。精准的标定不仅有助于提高数据融合的效果，还能提升算法的整体性能。随着技术的发展，许多研究者和公司致力于开发高效的标定工具和算法，本文将对无目标标定和有目标标定两种主要的标定方法进行调研。
2025-04-23 13:56:17
2853
原创 python代码完成Gazebo场景模型生成与删除
在使用Gazebo进行仿真时，您可能需要动态生成和删除模型。ROS（Robot Operating System）提供了一套服务接口，使得这些操作变得简单而高效。本文将详细介绍如何在Gazebo中创建和删除模型。
2025-04-23 13:55:54
1790
原创 逐行逐句进一步了解SurroundOcc（三）
之前我们专门对bevformer系列的代码进行了介绍。其实bevformer作为这一系列比较关键的工作。也为了我们后续看这些端到端的文章非常有帮助。我们最近这一系列将会围绕这一篇三维占用预测的工作。上一讲主要是介绍了SurroundOcc与BEVFormer比较以及预处理的一些问题。这一讲我们将围绕主题结构展开。
2025-04-23 13:55:33
1581
原创 逐行逐句进一步了解SurroundOcc（二）
之前我们专门对bevformer系列的代码进行了介绍。其实bevformer作为这一系列比较关键的工作。也为了我们后续看这些端到端的文章非常有帮助。我们最近这一系列将会围绕这一篇三维占用预测的工作。上一讲主要是介绍了SurroundOcc对应的原理以及结构梳理。这一讲我们将从代码看起。
2025-04-23 13:55:11
1815
原创 具身智能操作知识梳理与拓展
NPY: NumPy原生格式，存储单个数组或字典TFDS: TensorFlow Datasets格式，用于TensorFlow生态系统RLDS: Robotics Language-conditioned Dataset，机器人任务数据集HDF5: 分层数据格式，支持大型复杂结构化数据。
2025-04-23 13:54:52
2300
原创 从傅立叶变换到 FAST---具身智能加速神器
对于具身智能来说，PI0应该算是非常值得研究的一个工作了。而在开源后我们还发现了的身影，即专门去做一个Tokenization来给VLA用。因为发现现在的机器人控制任务，一般都希望有一个很高的控制频率，比如说20乃至50hz。比如说之前的RT-2，OPenVLA这些，其实你控制很慢，基本上7-8个Token才能控制一帧（一般是由控制末端输出量决定的），这其实是算力消耗很大的。当然现在主流的做法会通过Diffusion Policy来一次性输出多个，但是他本质的流程还是需要denoise的。
2025-04-23 13:54:26
1928
ROS 导航功能调优指南∗.pdf
2022-01-07
小觅摄像头Opencv处理
2019-07-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人