- 博客(161)
- 资源 (34)
- 收藏
- 关注
原创 轻量化VLM/VLA 本地纯软件仿真推理系统
本文介绍了一个面向具身智能初学者的轻量化仿真系统,通过纯软件方案解决了硬件、算法和工程三大门槛。系统包含五个核心模块:SigLIP视觉编码器实现动态分辨率分块处理,MLP跨模态投影对齐视觉与语言特征,Qwen2.5-VL量化模型负责图文问答,SmolVLA模型预测机械臂动作序列,以及7自由度机械臂仿真器实现动作可视化。文章详细阐述了各模块设计原理(如流匹配动作预测、幻觉抑制策略)和工程实现细节(如GGUF量化加载、跨版本兼容方案),并提供了完整的本地预置模型和开箱即用的Gradio界面。
2026-08-02 19:15:09
376
原创 ROS2 jazzy + gazebo harmonic多传感器融合移动机器人系统仿真
本文介绍了一个基于ROS2 Jazzy和Gazebo Harmonic的多传感器融合移动机器人仿真平台。该系统实现了RGBD相机与IMU的时间同步、误差状态卡尔曼滤波(ESKF)位姿估计、Gazebo仿真环境搭建、SLAM建图以及Nav2视觉避障导航等完整功能链。文章详细阐述了系统架构设计、传感器同步算法、ESKF实现原理、Gazebo仿真配置、导航栈集成方法,并提供了本地CI自动化测试方案。项目采用分层模块化设计,通过ROS2话题实现松耦合通信,具备工程化的参数配置和调试方法,为移动机器人自主导航研究提供
2026-08-02 10:45:31
458
原创 基于 llama.cpp 的 VLM 推理系统:CPU 隔离与实时优先级保护实战
摘要: 一种基于ROS2 Jazzy和llama.cpp的VLM推理封装系统(vlm_inference_cpu_isolation),通过CPU核心隔离、实时线程优先级保护和GPU/CPU双模式切换,实现在资源受限平台上的高效多模态推理。系统采用ROS2 Action服务架构,集成llama.cpp的SIMD指令集优化(AVX2/FMA/BMI2),使CPU推理速度提升约10倍。实验表明,GPU模式性能最优(0.02s/token),而优化后的CPU模式(1.9s/token)可作为备用方案
2026-07-29 16:18:03
429
原创 Astra Pro相机+gazebo构建 ROS2 虚实联动数字孪生系统
本文详细介绍了基于ROS2 Jazzy平台与AstraPro深度相机构建数字孪生系统的完整实践。系统通过Gazebo仿真器实现虚实联动,包含环境搭建、驱动适配、深度图转点云处理等关键技术。文章重点阐述了launch文件改造、TF坐标变换、ros_gz_bridge通信等核心模块的实现方法,并分享了ROS_NAMESPACE不生效、Conda环境干扰等典型问题的解决方案。该系统支持单命令启动,可实现真实相机数据到虚拟环境的实时映射与双向同步,为工业4.0应用提供了低成本数字孪生开发参考。完整代码已开源,开发者
2026-07-28 21:06:15
417
原创 ROS2图像预处理优化:零拷贝与GPU加速
本文介绍了在ROS2环境下实现图像预处理零拷贝和GPU加速的方法,通过对比传统CPU处理方式,验证了零拷贝和GPU加速对实时图像处理性能的显著提升。实验结果表明,结合零拷贝和GPU加速的方案在640x480分辨率下可将图像处理时间从约1900微秒降低至650-1000微秒,处理速度提升2-3倍。
2026-07-27 16:57:27
305
原创 ROS2 AGV SLAM导航仿真系统技术详解与踩坑实录
本文介绍了一个基于ROS2的AGV SLAM导航仿真系统开发项目。该项目利用Gazebo构建室内仓储仿真环境,集成TurtleBot3 Waffle机器人模型,实现了激光SLAM建图、自主导航和避障等核心功能。系统采用分层架构设计,包含仿真层、传感器数据层、SLAM层和导航层,通过ROS2话题和服务进行通信。技术栈包括ROS2 Jazzy、Gazebo Garden、Cartographer SLAM算法和Nav2导航框架。文章详细阐述了系统架构、模块设计、技术挑战(如QoS不匹配、TF链断裂等)及其解决方
2026-07-26 21:05:35
363
原创 MoveIt2+ROS2自定义抓取管线实战:从零到完整 Pick&Place 系统模拟
本文介绍了一个基于ROS2 Jazzy和MoveIt2的机械臂抓取系统开发项目。项目实现了完整的Pick&Place流程,包括预抓取、抓取、抬起、放置和返回初始位置等功能,并集成了点云物体检测、Octomap动态障碍物避障以及MoveItServo遥操作等关键技术模块。文章详细阐述了系统架构设计、核心模块实现(如MoveGroup初始化、目标规划、笛卡尔路径规划等),并总结了开发过程中遇到的关键问题及解决方案(如包可见性、夹爪朝向、碰撞检测等)。项目采用模块化设计,支持模拟点云和真实相机两种输入模式
2026-07-23 21:58:17
349
原创 ROS2 实时资源隔离方案:VLM推理进程与机械臂控制线程解耦
本文提出了一种基于Linux cgroups v2的资源隔离方案,用于解决机器人系统中视觉语言模型(VLM)推理与机械臂控制任务间的CPU资源竞争问题。该方案将24核CPU划分为实时核(0-3)、AI推理核(4-15)和通用核(16-23)三组,通过自动化脚本配置cgroup权重和核心绑定。测试结果显示:在高并发负载下,该方案使机械臂控制指令的延迟波动降低18.3%,抖动减少8.5%,平均延迟下降5.6%,有效提升了系统实时性。方案具有非侵入式、灵活配置和易于部署等优势,适用于需要同时运行AI推理和实时控制
2026-07-15 18:56:54
340
原创 ROS2实时节点 vs 普通节点控制机械臂性能对比
本文对比了Linux实时调度策略(SCHED_FIFO+mlockall)与默认调度策略(SCHED_OTHER)在ROS2机械臂控制中的性能差异。实验采用100Hz控制频率,通过指令延迟、关节抖动和串口响应时间三项指标进行评估。结果显示,实时策略显著降低了指令延迟(平均从91μs降至32μs,最大延迟优化9.46倍),并减少了周期抖动(标准差从18μs降至9μs)。关键技术包括内存锁定、绝对时间定时和零分配热路径设计。实时节点需特权配置,推荐使用sudo bash -c方式运行。实验证实实时调度能有效提升
2026-07-14 18:50:50
315
原创 ROS2多机器人DDS集群通信实战:从命名空间隔离到 Deadline QoS 时序修复
本文详细记录了一个ROS2多机器人通信仿真项目,从虚拟机械臂集群搭建到DDS通信优化的完整过程。项目实现了三台机械臂的命名空间隔离、QoS差异化配置(关节指令RELIABLE/相机图像BEST_EFFORT),并模拟消息洪流场景下通过DeadlineQoS检测时序错乱问题。关键发现包括:多核CPU需应用层模拟网络拥塞才能触发Deadline超时、DDS兼容性规则要求发布端Deadline≤订阅端。文章总结了QoS配置的必要性、环境隔离技巧和真实部署的扩展考量,为ROS2多机系统开发提供了实战参考。
2026-07-13 09:53:03
470
原创 ROS2中配置高带宽图像传输零拷贝文件
深度相机通常会发布高分辨率的 RGB 和深度图像,数据量大,默认的 UDP 传输会导致严重的性能瓶颈,在ROS2中配置 Fast DDS 共享内存(SHM)是实现零拷贝、降低 CPU 占用和延迟的关键。
2026-07-11 19:29:55
197
原创 ROS2 执行器、组件容器与生命周期节点的性能对比
本文通过对比实验验证了ROS2高级特性(组件容器、生命周期节点、进程内通信)带来的性能提升。测试采用三阶段流水线任务,结果显示优化方案比传统多进程方式内存节省60%、CPU降低70%-86%,端到端延迟最高提升7.8倍。关键发现:1)单进程容器共享运行时大幅减少内存开销;2)进程内零拷贝通信显著降低小消息场景延迟;3)生命周期节点确保启动顺序。建议同机部署的数据流水线优先采用优化方案,但跨机器或需要强隔离的场景仍需传统方式。实践要点包括正确选择单线程执行器、显式启用进程内通信等。
2026-07-11 09:56:33
364
原创 用 ROS2 生命周期组件搭建高可用数据流水线
这篇文章详细介绍了如何利用ROS2的生命周期节点(LifecycleNode)和组件化(Component)机制构建一个高效的数据处理流水线。文章从零开始,逐步实现了一个包含图像发布、IMU发布和图像取反功能的系统,并解决了三个核心痛点:启动顺序控制、错误恢复和进程间通信开销。 文章分为以下几个关键部分: 生命周期节点状态机实现:详细说明了各状态回调函数的作用和资源管理策略 组件化架构设计:将三个功能节点集成到同一个进程中,实现进程内零拷贝通信 统一生命周期管理:采用nav2_lifecycle_manag
2026-07-10 16:44:35
306
原创 ros2+moveit+yolo8 四轴机械臂物体抓取仿真
基于ROS2 Jazzy、MoveIt2、OpenCV的四轴机械臂仿真与控制项目,实现了从物体检测到抓取放置的完整流程。项目采用YOLOv8算法进行物体检测,结合深度相机实现3D定位,并通过MoveIt2完成机械臂的运动规划与控制。系统包含物体检测定位、姿态控制和抓取执行三大核心模块,支持Gazebo仿真环境。项目提供了完整的URDF模型、MoveIt配置和启动文件,依赖ROS2 Jazzy、MoveIt2和OpenCV等组件,可通过GitHub获取源码和演示视频。
2026-06-18 19:01:49
417
原创 ROS2 JAZZY+Gazebo harmonic小车机器人建模、激光雷达使用、图像传感器使用、构建导航地图、SLAM自动导航仿真
摘要:本文介绍了一个基于ROS2 Jazzy和Gazebo Harmonic构建的移动机器人仿真项目。项目实现了包含激光雷达、摄像头等传感器的差速驱动机器人模型,通过ros2_control框架进行运动控制。重点阐述了激光雷达的参数配置与Gazebo集成、深度相机设置、以及ROS2与Gazebo的桥接方法。项目实现了SLAM建图(使用slam_toolbox)和自主导航功能(基于Nav2),并展示了导航仿真和多点自动巡航功能。所有代码已开源,提供了完整的URDF模型描述、控制配置和启动文件,可作为ROS2移
2026-05-29 12:13:41
541
原创 ros2 jazzy环境下使用ros2_astra_camera
本文介绍了在ROS2 Jazzy环境下编译ros2_astra_camera的修改方法。首先需要下载项目源码并安装必要的依赖包,包括libuvc-dev等。关键修改包括:1) 替换头文件路径,将cv_bridge/cv_bridge.h改为cv_bridge/cv_bridge.hpp;2) 修改pinhole_camera_model.h为pinhole_camera_model.hpp;3) 调整point_cloud相关文件中的头文件引用;4) 重写ros_param_backend.h和ros_pa
2026-05-18 19:54:19
388
原创 ubuntu24.04系统使用深度相机Astra pro时的配置方法
本文详细介绍了在Ubuntu 24.04系统中配置奥比中光AstraPro深度相机的方法。虽然该相机已停产且官方停止维护,但仍可通过特定版本的OpenNI 2.3.0.63和Astra SDK v2.1.3运行。文章包含完整的安装指南:从依赖安装、SDK下载解压、USB规则配置到环境变量设置。最后通过构建示例程序测试相机功能,建议首次运行时若出现图像显示问题可尝试重新执行程序。所有必要文件均提供了下载链接,包括CSDN和官网渠道。
2026-05-18 10:06:30
287
原创 ubantu24.04系统安装ros2 jazzy + gazebo harmonic + moveit2
ubantu24.04系统下安装ros2 jazzy、gazebo harmonic、moveit2
2026-05-09 21:33:35
677
原创 Ubuntu24.04 + ROS2(jazzy)图片的发布及订阅节点
本文介绍了在ROS2 Jazzy环境下实现图像发布与订阅的完整流程。首先通过sudo apt安装必要的ROS包和OpenCV库,然后创建包含src目录的工作空间。核心代码包括image_publisher.cpp(定时发布指定路径图像)和image_subscriber.cpp(接收并显示图像)。配置CMakeLists.txt时需注意正确链接OpenCV库,package.xml需添加rclcpp、sensor_msgs和cv_bridge依赖。最后通过colcon编译后,分别在两个终端运行发布和订阅节点
2026-03-13 10:59:37
117
原创 python基础练习题
本文摘要: 本文整理了python实用代码片段,涵盖基础运算、数据结构处理、文件操作、时间处理等常见编程任务。主要内容包括:1) 数学计算如阶乘、素数判断、平方和等;2) 字符串操作包括字符判断、URL提取、括号匹配等;3) 列表、字典、集合等数据结构的常用处理方法;4) 文件操作如读取、排序、合并文件等;5) 时间日期处理如时间戳转换、日历生成等;6) 系统操作如获取文件大小、目录整理等。这些代码片段可直接应用于日常开发,提供了解决常见问题的Python实现方案。
2026-01-13 13:01:20
359
原创 Conda的安装和使用-jupyter notebook
Conda是一款跨平台的开源包管理和环境管理工具,支持Windows、macOS和Linux系统。其主要功能包括包管理、环境隔离、科学计算支持等,能有效提升开发效率和项目复现性。Anaconda版本内置Jupyter工具便于Python开发。安装后需配置国内镜像源(如清华源)加速下载,并可进行环境创建、激活、删除等基础操作,支持包的安装、更新、卸载及环境配置的导入导出。常用命令包括conda create/env list/install等,还可清除缓存优化性能。
2026-01-11 09:06:41
536
原创 使用LLama.cpp本地部署大模型
llama.cpp是一个基于C/C++开发的高效大语言模型推理工具,支持跨平台部署和Docker快速启动,核心功能是在有限的计算资源情况下本地部署使用大模型。本文介绍了通过Docker方式部署llama.cpp的步骤,包括如何下载模型、CPU/GPU配置及启动参数说明。llama.cpp提供Web UI界面和OpenAI兼容API,支持文本和多模态对话,对电脑配置要求不高,完全免费且私密,让普通用户也能轻松在本地运行大语言模型。
2026-01-04 14:51:10
1969
原创 RxJS基本使用及在next.js中使用的例子
本文介绍了RxJS在Next.js项目中的应用,RxJS作为一个处理异步数据流的库,能够有效管理用户输入、API调用等异步操作。文章详细讲解了RxJS的核心概念:Observable(可观察对象)、Observer(观察者)、Subscription(订阅)和操作符(Operators),并分类介绍了基础操作符(如interval、map)和高级操作符(如switchMap、combineLatest)。同时提供了在Next.js中集成RxJS的实践方法,包括安装依赖、创建组件和订阅管理,以及搜索功能、表单
2025-11-09 11:25:06
1178
C+++图像处理类库XImage源代码
2022-11-14
QT+FFMPEG屏幕录制及声音抓取完整代码(包含音视频同步)
2022-05-20
使用CMAKE3.22+QT5.13编译后的opencv4.4(32位的)
2022-02-13
cmake,opencv_videoio_ffmpeg.dll, opencv_videoio_ffmpeg_64.dll
2022-02-13
opencv_videoio_ffmpeg.dll + opencv_videoio_ffmpeg_64.dll(带验证信息)
2022-02-13
软件自动更新解决方案及QT实现.rar
2021-11-09
OpenNI-2.3.0.63(已包含windows-linux-android版本的)
2026-05-18
基于QT6+ffmpg的视频编辑工具包含了录屏裁剪视频转GIf去水印
2026-01-04
GrabCut分割图片源码,混合高斯部分使用了opencv,QT创建界面
2023-11-26
基于OpenCV和QT的图像处理验证程序源码
2023-10-12
高仿某在线教育网站(java+SpringBoot+SpringData+JPA+BootStrap+FreeMarker)
2023-08-19
几个有关image warping(图像变形)的论文
2023-08-10
利用QWebEngine实现的某宝自动抢购mao台程序
2023-08-03
超100个QT实用案例-开源可编译运行
2023-08-03
利用QT和FFMPEG中实现的RTSP推流测试程序
2023-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1