weixin_43030192的博客

原创 AI多模态大模型+机械臂打造具身实验平台

这样做的好处是，如果你的指令涉及到一些列的复杂动作（好几个机械臂基本动作函数，需要用多模态信息数据），这样更能确保函数参数提取的正确率，还有如果某一个机械臂基本动作单元函数是要处理多次类似的动作，即你的参数可能是一个数组之类的，比如你让机器人进行搬运任务，就需要给它很多个目标点参数，这是因为可以明确了输出格式，可以让大模型输出一个数组或者字典之类的格式数据，不过最重要的是，用这种方法是为了调用多模态大模型来找出抓取物，自然给他参数就是一段包括提示内容的文字。4.机械臂作业模块：机械臂各种基本动作的API。

原创 pytorch 用来改变tensor 形状的方法

【代码】pytorch 用来改变tensor 形状的方法。

原创 自动控制原理学习--平衡小车的控制算法（三）

上一节PID的simulin仿真，这一节用LQR一、模型二、LQRLQR属于现代控制理论的一个很重要的点，这里推荐B站的【】课程（up主DR_CAN），讲得很好，这里引用了他视频里讲LQR的ppt。LQR属于lost优化问题，L：Linear；Q：Quadratic二次型；R：regulater 调制器主要是优化状态空间下，保证稳定的同时，如何选取状态方程特征值。二、平衡小车LQR。

原创 自动控制原理学习--平衡小车的控制算法（二）

PID的好处就是可以不用动力学建模（当然用最好，从根轨迹分析去找参数），免去一大堆的公式计算（就算炼丹式调参），但是不好调参，至于PID的原理，可以去b站后cdsn搜，一搜一大堆，个人推荐去B站搜，视频直接点。本例的平衡小车matlab仿真做了两个控制环，一个速度环串接平衡环，调的时候先单独调平衡环，再加入速度环PID调速度环，平衡环不用D项，如果想手调可以参考上面的ZN方法试试。如果用了积分I，如果被控对象被卡住（或者被人按住），那可能E（误差）就飘很大，所以可以考虑对积分进行条件判断进行限制；

原创 自动控制原理学习--平衡小车的控制算法（一）

基于单片机STM32的两轮平衡小车，单片机的各种IO、定时器、通讯等等一大堆要理解、编程，但这些都是琐碎的文档知识，需要花时间看各个模块的接口文档进而编程，需要良好的编程逻辑思维，去获取相关的传感模块信息，以及输出数据给相关的模块，核心其实是怎么处理这些数据，怎么去控制相关的对象，这个没有文档可查，平衡小车其控制算法就是系统的核心，结合自控原理的学习，通过matlab来模拟平衡车可用的控制算法，以便方面各种调参。

原创 平衡小车的控制算法--结合自动控制原理学习（二）

上一篇内容：自控的类型分类，评价参数指标、几种系统建模方法，传递方程，拉普拉斯变换等。这一篇了解典型的控制模型、常见的输入信号、典型二阶反馈系统响应、系统稳定性、根轨迹等，林佩群的线上课还有一章是关于反馈系统的特性的（包括误差分析等，但看完觉得并没有在应用中直接使用到，而且都是公式推导，所以只过一遍，有兴趣的可以去认真看完）。总体上，自控系统的分析主要从时域（就算根据时间输入与输出的变换）和频域（就算进行拉普拉斯变换成频率域）两方面去分析系统的特性。频域视角主要是分析其拉普拉斯变换后的传递函数去分析。

原创 平衡小车的控制算法--结合自动控制原理学习（一）

单纯的去看自控原理，很多概念有点抽象，最好找些应用去理解相关的概念，就找了实验室的一个平衡小车作为应用，不过主要根据小车去跑matlab去验证一些控制算法。●按控制方式：按给定值操纵的开环控制、按干扰补偿的开环控制、按偏差调节的闭环控制、复合控制:闭环反馈为主，开环补偿为辅。（1）微分方程，从物理系统的特性去建立物理公式，一般都是微分方程，只要能得到微分方程的解基本上就可以得到控制量。根据预先设定的控制量计算方法给出控制量，这个计算方法无视被控对象的表现，只看自己，不看对象。

原创 WPF+Prism+WebApi 学习总结

ViewModel对应的是View，一般的有一个view叫xx，那么就有一个对应的叫xxViewModel.cs，负责对应的xx view的数据和命令的提供，他们之间是需要依赖注入，即这个xx view涉及的数据、命令事件在哪个viewmodel里面定义，就是指定上下文，如果用Prism，那可以在view的xalm文件里面定义自动绑定同名的viewmodle。Model里面一般定义的是实体数据模型，比如数据库里面的一个表的数据模型。3.数据库与数据实体类对应关系设定，就是绑定的数据库表对应的数据类实体；

原创 Suction-Net-1 BIllion 理解总结

3.lossfuction包括两个重要的值，一个是点可吸取分（用来找出吸取点，吸取点密封性，其方法参考了DexNet的方法进行了简化改良，是根据吸盘在法向量方向在物体上的投影，选取一定的数量的投影点来拟合一个平面，根据相邻的投影点其长度的变化情况进行计算判别，在拟合出来的平面上，即这些相邻投影点的在平面上的投影距离与投影点实际的点的距离变化），另外一个是能吸上的分数wrench分(也是参考DexNex3.0,进行了简化），我认为这是这篇论文主要的贡献点，即用两种方法对数据集进行了计算作标签。

原创 西湖大学的强化学习数学原理视频学习总结

个人强化学习总结，根据西湖大学强化学习线上教学视频，是赵老师主讲

原创 anaconda 中 juypter notebook 没有找到已安装的库问题

juypter notebook 中找不到已安装的库

原创 通过pointnet、pointnet++ 了解、熟悉pytorch小总结

复现pointnet++的几点小结

原创 vs2019 winform 和MFC 基本思路笔记

最近用c#和c++ 分别弄了winform 和MFC的对话框 的程序，记录一下两种不同界面开发的大致框架，之前没怎么做过界面开发，因此这里记录的一些很初级的东西。

原创 改善深度相机获取的深度图质量（稳定性）的trick

用kinect或者realsense获取的深度图或者点云图，由于传感器获取深度信息的不稳定性，经常出现一张图里面，有些深度信息丢失，尤其是物体边缘，因此怎么进行预处理得到较好的质量的数据很关键。1.时序数据的统计方法多取N个时刻的数据（因为相机和物体保持不变），得到N张深度图，理论上这些数据应该相同，但由于传感器的不稳定性，有小部分不一致，因此可通过N张深度图，其每个pixel的值可进行累计求均值来改善，大致算法如下（来自别人的硕士论文“基于RealSense的散乱零件三维目标识别”）2.利

原创 计算机视觉基础理论知识

此文档主要是学习优酷里面的浙大机器视觉（谭平老师自录）的课程学习笔记，主要是重新熟悉一些基础理论知识。一、camera小孔成像原理1.光圈，光圈就是与那个小孔的参数，大光圈即孔大些，则前景光聚焦好，后景光聚光就发散，形成虚化效果，这样就使得景深小，小光圈则相反，需要曝光时间久些，在camera中 光圈是F表示，光圈大小去F的倒数，即数值越小，光圈越大。日F1.4,F5.6等2.视角 Filed of view（Zoom）镜头焦距小，视角FOV大，即为广角，镜头焦距大，视角FOV小，二

原创 三菱GX Developer 了解总结

GX Developer pcl编程学习

原创 dobot + realsense d435i 自动抓取颜色物料

记录一下最近完成的一个小玩意。一、pipeline：1.完成手眼标定（外参），获得相机坐标与机器人base坐标的变换矩阵。参考上一篇博文2.用opencv 对抓取物件图片进行去背景处理、找轮廓和中心点处理，得到抓取点的pixel index。3.利用realsense SDK获取抓取点到相机坐标系下的z值，以及内参（fx，fy，ppx，ppy）。4.利用下面的公式计算出相机坐标系下的抓取点xyz，最后利用第一步求出的变化矩阵计算出dobot base坐标系下的抓取点坐标。代码很乱，没

原创 常用的空间插值方法总结

原创 Dobot magician + realsense D435i 手眼标定（外参）C++

之前写过一篇用python实现的，最近在ubuntu18.04弄了一个c++的，记录一下一、pipeline:1.下载aruco_ros、realsense-ros，打印aruco二维码，最好打印这个ros包里面的二维码，写好启动realsense和aruco的文件，直接通过获取ros消息获得二维码在相机坐标系里的位置，默认topic是“/aruco_tracker/position”；2.dobot跑8个目标点，获得对应8个二维码坐标位置；3.利用T*aruco_position=dobo

原创 c++ 读取txt文件数据存入数组

#include<iostream> #include<fstream>#include<sstream>#include<cmath> #include<cstdlib>#include<vector>using namespace std;void test(float trainData[8][4]) { cout << "-----------test----------- " <&lt...

原创 点云处理常用指令记录（c++、pcl）

1.获得文件名的后缀 std::string file_extension = model_filename_.substr(model_filename_.find_last_of('.'));2.STL文件转pointcloud 可用github上的fast-ppf里面的meshsampling3.获得点云的最大x，y，z及平均值 pcl::PointXYZ minPt, maxPt, avgPt; pcl::getMinMax3D(*model_sampling, minPt, maxP

原创 Dobot magician + realsense D435i 手眼标定（外参）

想着拿实验室的Dobot magician 来测试自己的算法，测试之前要先确定D435i相对Dobot基座标的位姿矩阵，想着是不是可以弄个程序跑完就出一个位姿矩阵，就有了这几天踩坑的历程，虽然网上有些资源，不过拿来用的时候就各种问题，后面就自己在这些资料中，自己弄了个容易理解的（自认为）。以下主要记录踩坑的填坑过程，方便别人避坑。一、pipeline：1.利用realsense2 SDK 编写获取图像数据2.利用cv2的arocru库，把二维码粘在Dobot末端上。实现相机坐标系下位置坐标数据的获取。

原创 bin-picking三篇论文基本思路总结

在一个pcl群了，一个学友推荐的三篇比较实用的bin-picking论文，最近就做这方面的了解、学习，就想看看主要思路，记录一下。第一篇：Fast and Robust Pose Estimation Algorithm for Bin Picking Using Point Pair Feature这篇文章相对比较容易理解，其基本思路基于PPF（上一篇有写自己的总结）。1.第一步跟PPF一样，建立模型的点对特征哈斯表，不过在所选择的抽取点的点对特征计算用到的法向量，是在原始点云上计算的。但在投票中只

原创 4PCS、super4PCS粗配准算法理解

参考了泡泡点云时空的文章4PCS点云粗配准算法介绍 一、4PCS系列的点云配准方法有点类似Ransac，通过找出目标点云和带配准点云中对应的两组点进行旋转平移求解出T，然后在众多的候选T中旋转一组最大重合的T。只是怎么找出对应点方法不一样，Ransac一般通过特征点及描述子去找对应点，而4PCS则是通过对应的同一平面四点组仿射不变性去找。该方法适用于重叠区域较小或者重叠区域发生较大变化场景点云配准，无需对输入数据进行预滤波和去噪，算法能够快速准确的完成点云配准。4PCS论文 ：4-POINTS CONG

原创 PPF 6D位姿检测理解

文章：Drost et al. Model Globally, Match Locally: Efficient and Robust 3D Object Recognition. CVPR, 2010.基本思想可以参考：https://zhuanlan.zhihu.com/p/94952276这里主要写自己理解的大致总结1.利用模型建立模板，模板的产生过程是通过计算一对点的距离向量，两个点的法向量与距离向量的角度以及，两个法向量之间的角度，四个特征，然后利用hash表进行模板存储，遍历每个点找其结对

原创 ubuntu18.04 roboware stdudio界面有像素干扰 问题解决

IDE里面有像素干扰，看着烦，可以参考https://www.cnblogs.com/cczyd/p/14052338.html进行解决

原创 LaTex转word

写论文之前没注意，公式用截图的方式放进去，后面发现不行，需要用word的公式格式。结果就折腾熟悉下LaTex环境写论文，重要的是怎么把LaTex公式转称word的，记录一下，估计也有很多小白碰到这种问题。一、搭配LaTex 环境类似编程开发环境，LaTex是一种基本公式语言，相当于一种编程语言，需要一个开发界面，开发界面很多，就需要选，这里我是在win10里装的，装了MiKTex作为公式库，再装了Texmaker，里面如果要写中文，需要引用中文包，类似以下：\documentclass[UTF8]{

原创 针孔相机 坐标变换常识

主要是记录一下免得老忘记根据像素s就是物体在相机坐标系下，z方向的距离！

原创 python plot画简单的曲线图

python plot画简单的曲线图ubuntu jupyter notebook 画简单的曲线图，但显示中文时有问题，以下画曲线图指令和中文显示解决方法：1.简单代码import matplotlib.pplot as pltfrom pylab import *plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签pic1 = plt.subplot(2,1,1 )#画多个图用到 （行，列，活跃区） plt.plot(x_data,y_

原创 realsense d435i 获取点云数据

realsense d435i 获取点云数据（xyz）openni不支持，只能用realsense的sdk弄if __name__ == "__main__": # Configure depth and color streams pipeline = rs.pipeline() config = rs.config() config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30) conf

原创 open3d 常用库学习记录

open3d常用api

原创 Eigen学习笔记2--旋转、平移

1.Eigen 与旋转、平移有关的类Eigen::Matrix4fAffine3f (有旋转和平移成员）Quaternionf（四元素）AngleAxisf（旋转轴Translation3fAffine3f中有rotation和translation分量，但Matrix4f中没有。1、Matrix4f到Affine3f：Matrix4f m4f_transform;Eigen::Transform<float, 3, Eigen::Affine> a3f_transform

原创 Eigen学习总结1

1.类型Matrix有6个模板参数，主要使用前三个参数（元素类型，行数，列数），剩下的有默认值。Matrix<typename Scalar, int RowsAtCompileTime, int ColsAtCompileTime>Eigen的类型主要有矩阵、向量（其实也是一种矩阵），有固定大小和动态大小之分： typedef Matrix<float, 3, 3> Matrix3f; Matrix3f a；//固定size的矩阵，分配3*3个float的空间

原创 Qtcreator---catkin_make 导致ros环境变量失效等

此时的心情真的只能用ros 论坛里面的一个哥们给的一个回复：it fucking work dude！在各种尝试（2天）后基本解决，但仍不知所以然。症状：在ros里建了一个ros_qt包（catkin_create_qt_pkg 功能包名 依赖 1依赖2，需装ros的qt依赖包），ros里cmake没问题，想在qtcreator 里导入这个包，结果开始出现各种问题，每次尝试在qtcreator里编译，就会导致ros的环境变量失效，.bashrc文件里加有，但是不起作用，ros启动不了，工作空间没有，各种

原创 ubuntu下qt版本问题

anaconda默认装了qt5.9.6版本，anaconda虚拟环境下which qmake 找到了anaconda路径下的qmake，但退出虚拟环境进入系统环境时，qmake -v 找不到qmake，which qmake 出现的是/usr/usr/bin/qmake，可以通过 sudo rm /usr/bin/qmake先删除，再重新建立新的新的链接： sudo ln -s 你的Qt qmake 的位置 /usr/bin/qmake 即可。通过qtchooser 可以设置默认的qmake版本。在qt

原创 ROS启动失败的一个ip错误坑

结果今天启动roscore，提示找不到这个命令，建议apt-install，可我命名在opt/bin里有roscore，不存在文件丢失可能，结果搜百度，都是出来是不是ros没装好，要重装之类的，后面乱找一同，尝试了在.bashrc设置export ROS_HOSTNAME=127.0.0.1export ROS_IP=127.0.0.1再次roscore，就可以了，逐渐了解可能ip问题，想起昨天弄了个ros_qt包，界面设置了roscore的master ip，原来是192.（本地的具体ip）开头

原创 安装anaconda 后与ros冲突的坑

##安装anaconda后与ros打架怎么办安装anaconda，看重的是env，各中神经网络的藏尝试复现，但与ros有点冲突，主要两种问题和解决办法：1.python版本不一致之类的，ros用2.7，要用回2.7的只要在bashrc注释调ananconda的环境变量就好。2.系统的lib或在用户的lib 与anaconda/lib里的库文冲突，因为camke先找anaconda/lib 里相关的库文件（so文件），可版本又与系统或用户lib不一致，导致提示为定义的引用种类的问题，比如最近建ros_q

原创 PCL学习--- stl转pcd

PCL 之 stl转pcd好记性不如烂笔头一直都觉得写博客好麻烦，但最近学东西太多，老觉得刚学完的东西就忘了，原来记在笔记本的笔记找半天不知道在那本上，所以渐有用博客当笔记的想法，就那stl转pcd文件作为在csdn上自己写的博客练手。#include <pcl/io/pcd_io.h>#include <pcl/io/ply_io.h>#include <pcl/io/vtk_lib_io.h>//loadPolygonFileOBJ所属头文件；#inclu

转载 常用图像处理库都有哪些？

@转载自https://cloud.tencent.com/developer/article/1430327？原文发布于微信公众号 - 智能算法（AI_Algorithm）OpenCV简介：OpenCV全称是:Open Source Computer Vision Library。是Intel®开源计算机视觉库。它由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面...