- 博客(54)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 openpi0.5模型训练原理学习
openpi使用流匹配方式来训练专家模型借用上述博客的相关内容图像、任务文本、机器人当前状态当前还带噪声的动作序列朝哪个方向把这段动作去噪推理时从纯噪声开始反复更新 10 步左右，最后得到可执行的动作 chunk。
2026-05-09 16:55:37
168
原创 openpi的理论基础-流匹配
传统的VLA（如Openvla使用自回归方式预测Token，一个接一个生成动作）。而现在的新的VLA方式使用流匹配的方式（Flow matching）进行动作预测，可以一次性预测多组动作。这样学到的速度场，在推理时就可以从纯噪声出发，沿着速度场逐步积分，迭代修正出一段干净、可执行的机器人动作序列。从源码角度，也可以对应理解上面的含义，其训练的损失是期望速度场和预测速度场的交叉熵损失。而速度场（向量）的预测，其使用的就是Flow Matching和大模型两者的结合。，作为从真实动作向完全随机动作过渡的。
2026-04-11 14:14:58
43
原创 openpi使用过程中相关问题
问题可以描述为，200条数据，进行LORA训练，前几步误差在30多，9万次训练后误差也大于0.5.排除学习率过大可能。
2026-03-31 16:54:16
63
原创 openpi的LIBERO部署
主要修改了lerobot，dlimp的安装方式，注释掉lerobot，dlimp的安装，改用手动安装，否则国内uv链接不上lerobot，dlimp。当seve_police.py启动后，就可以得到推理结果了（seve_police.py配置见4.3，先启动seve_police再启动。下载完毕后，指定serve_policy.py的检查点为自己下载的检查点位置。运行后会自动下载，如果该设备没有外网，使用有外网的linux系统下载。使用能连外网的设备，离线下载后，安装。下载完后，放到指定目录。
2026-02-02 14:00:51
824
原创 Openvla的原理学习
Openvla是基于Prismatic-7B的预训练VLM模型进行训练的。将训练数据中每个维度动作范围的1%~99%区间的长度（如我dx范围为-10cm~20cm），那么将这个区间以256等分为小区间（1-256）对应了分割后的离散值。这里用的是Prismatic-7B，如图1所示。VLM由视觉编码器（DinoV2和SigLIP组成），投影器和LLM（大预言模型）组成。其中视觉编码器利用了SinLIP-DinoV2的网络，空间理解能力更强，导致Prismatic-7B的VLM相较于其他VLM有更好的效果。
2026-01-08 16:54:28
304
原创 Openvla程序的环境部署
因为RTX5090要求cuda的版本在12.8，torch在12.7以上，和程序里面的pyproject.toml不一致。我们要先自己下载这两个，再用redame.txt的pip install -e .
2026-01-06 11:29:59
658
原创 flash_attn-2.5.5的离线安装
命令：apt-get install -y cuda-toolkit-12-1 cuda-cudart-dev-12-1 cuda-nvcc-12-1。使用pip install "flash-attn==2.5.5" --no-build-isolation下载时出现如下错误。如果修改完，直接使用 pip install . --no-build-isolation可能会由于cuda的相关缺失而报错。最后运行pip install . --no-build-isolation。# 3. 查看目录结构。
2026-01-05 18:40:47
266
原创 机械臂逆解（解析解）
计算关节5和关节1之间连线的距离，其与l3,d4构成三角形，通过三角计算，可得到关节角3的角度，其按照第三条边（关节5和关节1之间连线）水平时，肘关节向上还是向下分为肘上和肘下两种情况,肘上关节角3<0,肘下关节角3>0。其中P05是关节5在base系的坐标，P56是关节5在关节6坐标系的坐标，t06是平移量：关节6在base系下的坐标，R06是关节6在base系下的姿态，用于将P5从关节6坐标系通过旋转转换为base坐标系。2）根据关节5的位置在平面上的投影，可以得到关节1的朝向，进而计算关节1的角度。
2025-12-05 11:38:52
1106
原创 c++下的onnx推理
参考链接：https://blog.csdn.net/magic_ll/article/details/125517798。
2025-04-23 15:56:24
549
原创 python生成动态库在c++中调用
print(sys.executable)" #确定python安装位置。在setup.py的同目录下使用python setup.py build_ext --inplace。2.2)修改launch.json。2.1）修改tasks.json。
2025-04-21 21:06:56
481
原创 patchwork++地面分割学习笔记
提出了以下四个部分：RNR、RVPF、A-GLE 和 TGR。1）基于 3D LiDAR 反射模型的反射噪声消除 (RNR)，以有效消除虚拟噪声点。2）引入了区域垂直平面拟合 (RVPF) 来正确分割地面，即使地面被不同层抬高。3）利用适应地面似然估计 (A-GLE) 根据先前的地面分割结果自适应地计算适当的参数。4）时间地面恢复 (TGR) 通过使用临时地面属性来缓解部分欠分割问题。
2025-01-07 14:31:18
1602
原创 FASTLIO2建图学习笔记
在FASTLIO定位中，采用当前雷达扫描点云和提取PCD地图的KDtree进行点云匹配和残差计算来估计当前车辆位姿。在建图中，要使用雷达点云来创建全局PCD文件，那么KDtree就无法从PCD地图中得到。是否可以用历史扫描的点云来建立KDtree，对当前的车辆位置进行估计呢？根据估计的位姿，再将雷达点云转换到World系下，并对雷达点云进行拼接转换为PCD地图，这就完成了建图的流程。故，再建图和定位中，位姿转换都使用ESKF进行估计，只是在KDtree的更新上存在差异。
2024-11-11 10:45:07
2528
原创 FAST-LIO中的ESKF应用
在代码中，状态变量的顺序和数量和论文有一些差异，其变量为,其中，表示imu系到雷达系的旋转矩阵，表示imu系到雷达系的平移矩阵(imu和雷达的安装中心和角度不同，通过设置外参，将imu系的测量值转换到lidar系)
2024-09-20 09:23:13
2287
1
原创 关于ros消息显示等级以及[DEBUG】刷屏的解决方案
如下，根据rqt_logger_level，修改log4j.logger.ros.roscpp和log4j.logger.ros.roscpp_internal的等级为INFO。1.在终端输入rqt_logger_level，可通过手动方式改变level等级，但是操作麻烦，而且程序重启后又会失效。在终端输入vim /opt/ros/noetic/share/ros/config/rosconsole.config。在后续的程序运行中，DEBUG刷屏消失（注：首先要确认DEBUG是由那个日志引起的）
2024-08-29 19:40:58
658
原创 关于catkin_make时动态链接库lib缺失问题
找到对应的FindGeographicLib.cmake，前面的/usr/share/cmake/geographiclib就是安装路径，用于后续的环境配置。sudo apt-get install libgeographic-dev进行安装，并使用上述命令确定重新安装位置。完成后可删除旧的devel和build包，正常启动catkin_make。输入dpkg -L libgeographic-dev。如果未安装，输入sudo apt-get update。
2024-04-18 10:23:06
485
1
原创 CMU团队的terrainAnalysis地形分析代码笔记
通过计算当前位置point与附近位置（3*3的planar体素网格）最小高程的一个相对高程来作为地形高度，写入到当前点云数组中，来平滑地形信息（类似于用3*3的卷积核对图像的RGB信息进行卷积）2）.将丢失部分（由于车辆运行距离大于一次雷达扫描更新距离，未扫描到部分区域），将该区域的点视为障碍，其网格点处点云高度为车辆高度。1）.计算当前位置point与附近位置（3*3的planar体素网格）最小高程的一个相对高程来作为地形高度，写入到当前点云数组中。
2024-02-06 18:59:26
3211
6
原创 Autonomous_Exploration_Development_Environment的PathFollower学习笔记
Autonomous_Exploration_Development_Environment的PathFollower算法
2024-02-03 13:34:31
908
1
原创 CMU的local_planner学习笔记
ros::Subscriber subOdometry = nh.subscribe//当接收到/state_estimation话题消息更新时启动odometryHandler回调函数 （消息格式：nav_msgs::Odometry消息内容：关于机器人或车辆的位置和方向（姿态）信息）pcl::PointCloud::Ptr freePaths(new pcl::PointCloud());
2024-01-31 09:44:14
3652
4
转载 关于fatal error: sophus/so3.h: 没有那个文件或目录与error: lunit_complex_.real() = 1.；问题解决
1.fatal error: sophus/so3.h说明sophus库安装不对。2.在安装sophus过程中出现。
2024-01-16 09:53:59
618
转载 NvvmSupportError: libNVVM cannot be found. Do conda install cudatoolkit: library nvvm not found问题解决
在环境变量中添加NUMBAPRO_NVVM = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\nvvm\bin\nvvm64_40_0.dllNUMBAPRO_LIBDEVICE = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\nvvm\libdevice\原始参考出处：python - libNVVM cannot be found - Stack
2022-03-24 14:39:11
2145
原创 ubuntu配置opencv与qt
1.安装opencv3.2.0的依赖$ sudo apt-get install build-essential$ sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev$ sudo apt-get install python-dev python-...
2018-05-01 22:03:00
533
原创 python 下安装opencv及扩展模块
我使用的pathon是3.5的，网络上说opencv只能用2.7装是不对的python编译器是pycharm，pycharm的优点是能自己通过pip安装第三方库下面介绍安装opencv过程1.首先下载安装好python并且配置好环境变量（安装python时勾选配置路径那个）2.然后根据版本下载好pip，一般装完python后自己会安装好pip的，如果需要升级用cmd命令输入python -m pi...
2018-04-05 22:18:41
6123
原创 ubuntu主机的串口配置即程序
感谢下列博客提供的方法：程序：https://blog.csdn.net/u012348655/article/details/51168356配置方法：https://www.cnblogs.com/zhangchaoyang/articles/1926848.html下面来说下我遇到的问题：关于配置可以看配置方法我的步骤：1.输入sudo -sH进入root环境2.输入dmesg| grep ...
2018-03-31 10:06:21
1486
原创 关于hog特征维数的计算
https://blog.csdn.net/xl890727/article/details/7920199此博客有关于block,cell,_blockStride,winsize的详细介绍下面我根据代码来实际算一下我采用的图片大小是100*100上面采用的winsize窗口大小为10*10，blocksize块大小为10*10，blockstride块滑移量为5,胞大小是5*5,每个胞的直方图...
2018-03-27 11:04:30
3346
1
原创 opencv级联分类器训练
这个博客写的挺详细的 https://blog.csdn.net/qq_30028077/article/details/50483205下面来写一下我训练的过程1.训练时正样本图片的寻找：可以参考我上一篇的文章，通过url下载网络图片快速寻找正样本，这里我做的是草莓识别https://blog.csdn.net/qq_35971623/article/details/79684219负样本集合...
2018-03-26 13:50:09
1487
原创 关于c++下载网络url图片
现在深度学习都需要通过大量的图片进行训练，但是自己百度寻找样本显得比较麻烦，现下推荐一种比较方便的下载图片方法先通过image-net获取所想寻找样本的url，如下是我copy的url，存入txt文本，然后通过c++的infile来读取文本路径，最后通过URLDownloadToFile函数来下载url图片，其中的关键是如何实时改变存入图片的文件名，这里需要用到的是*char转LPCWSTR下面是...
2018-03-25 10:13:07
3719
1
原创 基于opencv pnp的单目测距与姿态解算
单目测距与双目测距一样需要完成的第一步是相机的标定推荐用matlab进行标定，标定的方法可以参看这个博客http://blog.csdn.net/dreamharding/article/details/53700166和https://blog.csdn.net/heroacool/article/details/51023921在添加工具箱时注意选择第二个add withsubfolders（...
2018-03-15 16:04:22
23488
39
原创 DJI manifold(妙算)关于刷机与刷机后的换源
关于妙算的刷机需要注意的是刷机是不会成功的（哈哈哈），只能恢复出厂设置可以参看这篇博客http://blog.csdn.net/yuyangyg/article/details/75097737不过需要注意的是千万不要制作系统镜像，在解压完成后直接进入恢复出厂设置sudo ./flash.sh jetson-tk1 mmcblk0p1（不带r）ps:本人由于制作系统镜像，然后恢复出厂设置也能得到*...
2018-02-11 17:30:49
2852
7
原创 关于byte与Mat类型的互换
现阶段由于帮老师做一个关于用大恒工业相机做视觉的项目，遇到了相机打开，格式转换，相机关闭等问题，有用过大恒相机的大佬也希望能出来分享一下出于互相学习，互相促进，减少弯路的目的，现分享我对于格式转换的心得由于网络传输的图像都是字节流的，而opencv对于图像的操作都是mat类型的，所以对于byte的字节流转换成mat就成了一个难题由于我现在的相机调用存在问题，故现在只是在opencv上用
2017-11-07 20:11:19
15357
1
原创 svm+hog的手写体识别
svm训练.xml文件#include "opencv2/opencv.hpp"#include "iostream"#include "fstream" using namespace cv;using namespace std;void getdata(){vector img_path;//输入文件名变量 vector img_ca
2017-10-28 12:07:37
872
原创 基于KNN的手写体识别和数码管数字识别
大神符识别主要有数码管数字和手写体数字两种数码管：1.先进行整副图像的处理，可以看出数码管红色很明显，所以可以进行图像通道分离，然后对红色通道二值化效果： 2.进行轮廓提取（findcontours），通过大小形状来滤除小的杂讯3．由于大神符的打击需要顺序，所以要对提取的轮廓进行排序，排序的方法是通过x坐标的大小4.利用穿线法进行提取后的数码管字体的识别，所谓穿线法就是在提取的字体的（height...
2017-10-21 16:31:56
4130
3
原创 双目测距--Matlab标定及深度图
上一次用的opencv官方的程序进行的双目标定，效果比较差，最后输出的映射图畸变比较严重后来请教学长后改用matlab标定，解决了映射畸变问题具体的matlab标定方法可以看下面三个大佬的博文，亲测可以http://blog.csdn.net/dreamharding/article/details/53700166 可以用来把.mat文件转成.xmlhttp://blog.
2017-10-20 17:41:38
16324
15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人