xihuanniNI的博客

原创 机械臂+强化学习

运动学 动力学。

原创 机械臂控制

对于我们这样一个简单的机械臂来说，我们可以计算出这个表达式，然后对它进行求导，然后算出位置雅可比矩阵。就是比如说我们给这个关节，给这两个关节相同这个数量级的扰动，因为我们之前说定义了这个q的模长要都是小于等于1。比如说我们在这个上面给它一个相同数量级的扰动，那么这个端点在这个短轴方向上抖的程度就比在这个长轴方向抖的程度要小。通过运动学正解可以得到手爪在X轴、Y轴和Z轴上的轨迹，这个轨迹是由N个关节的轨迹决定的。椭圆在极端情况下，变成一条线，也是奇异形位，也可以解释有界的手爪速度对应的可能是无界的关节速度。

原创 现代机器人：力学、规划与控制10-运动规划

A* 是最有用的图搜索算法之一，用于在图上寻找最低成本路径，其中路径成本是各个边正成本的总和。除了图本身，A* 搜索还需要一个函数，用于计算从任意节点到目标节点的乐观预估成本（Optimistic Cost-to-Go），通常称为启发式函数（乐观剩余成本）乐观性定义：如果实际成本永远不会小于预估值，则该预估是乐观的（即预估值 ≤≤ 实际值）。两个标准计算速度快。预估值应尽可能接近实际成本。如果函数总是返回 0，虽然计算快，但无法提供良好的引导。

原创 现代机器人：力学、规划与控制9-轨迹生成

路径的切线必须与每个途经点处指定的速度对齐，因此我们可以利用途经点的速度来改变路径的形状。换句话说，如果机器人处于这样的状态，它将不得不立即离开路径，因为执行器的力量不足以将其维持在路径上。在这种路径中，坐标系的原点沿直线运动，而旋转是绕固定在坐标系中的轴进行的。：既然我们知道必须在与速度极限曲线相交的交点前的某处开始减速，且时间最优轨迹仅由最大加速度 U 和最小加速度 L 组成，我们需要找到一个从 U 切换到 L 的点。对于任何给定的位置 s ，这种轨迹下机器人的速度都低于时间最优时间缩放下的速度。

原创 现代机器人：力学、规划与控制3-刚体运动

在第三章中，我们将学习构型、速度和力的表示方法，这些内容将贯穿本书的其余部分。正如上一章所讨论的，我们将使用关于构型空间（C-space）的隐式表示。换句话说，我们的构型表示不会使用最小坐标集，速度也不会是坐标的简单时间导数。如果你之前没有学过三维运动学课程，这种方法可能对你来说是新的。在此之前，刚体的构型是使用坐标系（Frames）来表示的。一个坐标系由一个原点和相互正交的 x 、 y 、 z 坐标轴组成。所有的坐标系都是右手系的，这意味着 x 轴和 y 轴的叉积生成 z 轴（即。

原创 现代机器人：力学、规划与控制2-位形空间

以在平面上行驶的汽车底盘为例，定义一个x-y参考系，就可以将汽车的位形表示为q = (φ, x, y)，其中φ是角度，(x, y)是后轮中点的位置。因此，我们可以换一种方式，将构型空间视为嵌入在四维关节角空间中的一维空间，它由三个闭环约束方程定义。值得注意的是，一个机器人可以同时受到完整约束和非完整约束的作用（例如汽车底盘既受限于平面运动的完整约束，又受限于不能侧滑的非完整约束）。如果空间是平整的，像直线、平面，或者更一般地说，n 维欧几里得空间，我们通常选择一个原点和坐标轴，然后用坐标来表示一个点。

原创 现代机器人：力学、规划与控制4-正向运动学

正旋转是绕垂直屏幕向外的轴进行的，该轴与 s 系的 z 轴对齐，因此单位角分量为 (0,0,1)，即与。b 系的运动是绕关节 1 螺旋轴的旋转。固定的 s 系和末端执行器 b 系，关节变量 θ1​ 代表关节 1 相对于水平线的角度， θ2​ 代表移动关节的伸长量， θ3​ 代表关节 3 的角度。比较空间系（ s 系）和物体系（ b 系）下的两个指数积公式，主要区别在于：螺旋轴的表示坐标系不同，以及 M 矩阵是在矩阵乘法序列的右侧还是左侧（空间系公式为左乘序列后乘 M ，物体系公式为 M 右乘序列）。

原创 现代机器人:力学、规划与控制5-6-速度运动学和逆运动学

关节速度与末端执行器速度之间的关系。通常，我们将末端执行器的位姿表示为变换矩阵，而将其速度表示为 twist。正向运动学方程，其中 x 是表示末端执行器位姿的 m 维坐标向量，θ 是关节坐标的 n 维向量。正向运动学方程对时间导数雅可比矩阵，不仅对建立关节速度与末端执行器速度之间的关系至关重要，同时也将末端执行器作用力与关节力和扭矩联系起来。

原创 现代机器人：力学、规划与控制8-动力学

当前关节位置、关节速度、关节加速度、关节作用力/力矩。拉格朗日，基于机器人动能和势能的变分方法。牛顿欧拉，核心原理F=ma应用于机器人的每个独立连杆。重点讨论牛顿欧拉，通过高效递归算法实现逆动力学计算，无需微分运算。先从拉格朗日入手，因其概念更简明。

原创 现代机器人：力学、规划与控制11-控制

运动控制：机械臂沿着指定轨迹运动力控：对物体或环境施加特定作用力混合hybrid 运动-力控制：如在黑板上书写时，既要控制笔尖在板面上的运动轨迹，又要控制施加于板面的垂直压力。阻抗（impedance）控制：当机器人用于render一个虚拟环境时，通过调节动态响应来模拟物理交互特性，用户握住机器人末端执行器移动，通过虚拟世界中的质量块-弹簧-阻尼器等可视化反馈探索虚拟物体的物理特性。

原创 机器人机构学与控制8-控制

只要Kp Kv这些参数是正的，最终都会趋向于零。

原创 机器人机构学与控制7-静力和逆解

只要关节有冗余度，即关节数量超过末端自由度，只有这一种计算方法，已知末端受力情况，求解维持平衡所需的关节扭矩。反过来不能计算，J的逆不存在。n维空间，n维球体通过雅可比矩阵映射为6维椭球体。末端施加一个力f，要让机器人保持精静力平衡，需要输入多大的关节扭矩。使其尽可能接近球体的椭球体，涉及雅可比矩阵的特征值和特征向量。正运动学只有一个解，逆运动学可能存在多个解。最佳姿态，找到使这个椭圆形变成圆形的姿态。6维拆分为线速度和角速度，分别绘制椭球体，质心在力的作用线上，力矩为0。dexterity 灵巧。

原创 机器人机构学与控制5- 旋量运动（screw motion）

只要坐标轴方向一样，旋转和平移是可以交换顺序的。

原创 机器人机构学与控制6-速度

雅可比矩阵第二列S2，关节轴2的螺旋运动，不是初始位置，而是在角度。J(theta)的秩从3变为2，轴1和轴3共线 colinear。雅可比矩阵出现奇异，末端执行器在这个位姿下无法产生任意的角速度。雅可比矩阵第一列S1，指数积公式中关节1的螺旋轴，常量。目标：从T以及它导数中推导出线速度和角速度表达式。关节1和关节3轴对齐，方向上无法产生速度。q1-q2 和w1同向，S1和S2线性相关。发生奇异时，会失去一个或多个自由度。雅可比矩阵可提供奇异点信息。

原创 机器人机构学与控制4-正运动学（Forward Kinematics）

需要6个参数（3平移+3旋转）来描述一个坐标系相对于另一个坐标系的位置和方向，而这里是4个参数，所以不能任意选择坐标系。代价是无法使用这4个参数描述任意变换。可以绕x和z轴旋转和平移，不能绕y轴旋转和平移。大拇指指向关节轴方向，旋转方向为正。确定了z和x，y 自动确定。0号坐标系，固定坐标系。0坐标系和1坐标系设为相同。首先确定关节轴的位置，沿着关节轴画出z轴。6R坐标系和DH参数，二者在一起才能看懂。移动关节prismatic。关节动，坐标系也跟着动。关节轴之间画公共垂线。3R坐标系和DH参数。

原创 机器人机构学与控制3-旋转和变换

同样的公式，两种解释。动坐标系固定坐标系。

原创 机器人机构学与控制2-平面抓取

四面体 tetrahedron原点在三维四面体的内部。四面体不好可视化。力封闭，不是形封闭，有摩擦的点接触。画出点，看原点是否在四面体内部。更好的方法A第一行 x方向力A第2行 y方向力A第3行 力矩前面化为单位阵，前三列是x、y、z轴。四面体中的原点形成了吗？高斯消去法，得到单位阵和最后一列都是负数，确保力封闭。连接2个接触点（connect）的线段必须位于两个摩擦锥内。

原创 机器人机构学与控制1-位形空间

1) 三个刚体汇交于一个关节，不应该看做一个单个的关节，而应该看做几个重叠的关节。

原创 openGL安装

amdgpu-pro。

原创 velo2cam_calibration 2021

标定板的标志一定要对应；相机同步问题，如果不行一定要用相同的时间戳；过滤点云要保留洞透过去的点；最后得到的tf要转化为齐次矩阵来检验下过。旷视。

原创 yolo11 detect + track

【代码】yolo11 detect + track。

原创 nginx搭建RTMP流媒体服务器

原创 深度学习基本知识+tensorflow

全称Residual Network（残差网络）。ResNet最大的创新在于引入了“残差模块”（Residual Block），有效地解决了深度神经网络训练中的梯度消失和表示瓶颈问题，使得网络的层数可以达到前所未有的深度。核心：残差模块的核心思想是通过引入跳跃连接（skip connections），将输入直接传递到输出，从而形成一种“残差学习”的机制。这种设计允许反向传播的梯度直接流过整个网络，缓解了深度网络训练中的梯度消失问题。因为ResNet的出现，让深度学习从而变成了可能，真正的实现了深度的概念。

原创 ONNX Runtime

protobuf。

原创 PointPillars 训练和部署

OpenPCDet/pcdet/ops/pointnet2/pointnet2_stack/src/sampling.cpp:4:10: fatal error: THC/THC.h: 没有那个文件或目录。的数据集，这个数据集是新加的，需要安装av2库才能够读取这个数据集，但是av2不支持python 3.6，python3.8就可以。2）不依赖系统cuda版本，安装带cudatollkit的pytorch，这里安装的1.11.0。1）根据系统的cuda版本安装pytorch，不带cudatoolkit。

原创 gazobo

3）gazebo_ros功能包spawn_model工作节点，通过robot_description参数产生urdf机器人模型。2）加载模型之前，添加empty_world空的世界环境路径，固定格式。先启动gazebo，再启动rviz。不启动gazebo，rviz是打不开的。rgt_gui 修改这里的数据可以让小车动。官方有详细实现流程，复制粘贴，修改参数。也可以添加官方提供的模型插件，需要下载。1）xacro文件 机器人模型。传动装置：速度和扭矩控制接口。name改成和文件名字一样。

原创 跨镜头跟踪MCMT

CityTrack。

原创 机械臂-手眼标定

两次运动，机器人末端和标定板的位姿关系始终不变。求解的量为相机和机器人底座坐标系之间的位姿关系。

原创 ros2基本知识学习

每一位ROS开发者几乎都遇到过这个令人头疼的问题：在执行 rosdep update 时，终端会卡在reading in sources list data from …这是因为 rosdep 默认从国外的服务器（如 GitHub）拉取依赖数据，在国内网络环境下连接极不稳定。它本质上是 rosdep 的一个“壳”，将所有网络请求都重定向到了国内的镜像服务器，从而实现稳定、高速的依赖安装。ROS1 Noetic需要Python 3.8，而Ubuntu 22.04默认安装的是Python 3.10。

原创 ubuntu22 docker安装ros1 noetic

v /dev:/dev：将宿主机的 /dev 设备目录挂载到容器的 /dev 目录，允许容器访问宿主机的所有设备。-v /home/your_username:/home/your_username：将宿主机的用户目录挂载到容器的同名目录，这样容器可以访问宿主机用户的文件。-v /tmp/.X11-unix:/tmp/.X11-unix:将宿主机的 X11 sockets 目录挂载到容器，允许容器访问宿主机的图形用户界面会话。注意：每次重启容器，主机都得执行一遍，否则容器内可视化报错。

原创 kitti tracking

对于3D物体检测，label细分为car，van，truck，pedestrian，pedestrian(sitting)， cyclist， tram 以及 misc 组成。tracking任务分为三种类型，分别是Multi-Object Tracking（多目标跟踪）、Multi-Object Tracking and Segmentation（多目标跟踪和分割）和Segmenting and Tracking Every Pixel（分割和像素跟踪）。

原创 复现AB3DMOT 3D目标跟踪

由于kitti数据集calib文件里面的名称与源码中不一样，需要进行修改。分析：calib文件的txt文件没有冒号，需要自己进行添加。Velodyne点云数据 不用也可以 运行Demo。1.数据集准备，以kitti数据集为例。运行第一句时出现下面两个错误。详看README.md。

原创 具身智能学习路线

NeRF-based reconstruction Isaac Sim

原创 视觉大模型

视觉大模型

原创 stm32 智能小车

立创EDA绘制。

原创 nerf-2020

摄像机外参数（位姿，世界坐标系到相机坐标系 ）SFMMVS稠密三维点云进行物理仿真、可视化不方便。表面重建（三角面片）碰撞检测纹理重建：SAM算法抠图meshlab。

原创 windows+ubuntu双系统重装ubuntu22.04

windows+ubuntu双系统重装ubuntu22.04

原创 ubuntu24 ros2 jazzy

目前已无须修改为清华镜像源。libnl-route-3-dev : 依赖: libnl-route-3-200 (= 3.7.0-0.3build1) 但是 3.7.0-0.3build1.1 正要被安装。libdbus-1-dev : 依赖: libdbus-1-3 (= 1.14.10-4ubuntu4) 但是 1.14.10-4ubuntu4.1 正要被安装。

原创 NueralRecon2021

NeuralRecon属于利用神经网络直接进行三维重建的方式，去除了深度估计，去除了一些TSDF融合的操作，整个流程让网络end2end的去学习，重建的表面一致性和平滑性会更好。由于基于数据驱动，能够充分利用数据先验知识，针对低纹理的场景也能表现很好。当然其泛化性如何要保持怀疑态度。网络虽然考虑到了实时性，但是目前应该只能在高端显卡上实时。

原创 python学习2

127.0.0.1是自己本机，如果测试这个地址是通的，证明本机的网络是没有问题的。浏览器和web服务器通信，如果浏览器关闭了，会告知一下web服务器，就是发一个空字符串。程序运行了一次，再次运行报 Address already is use。是和百度之间网络链接有问题，还是电脑网络设置有问题？虽然打印了主进程执行完毕，但主进程没有结束。IP地址是本机IP地址，端口号可以随便写。listen 代表等待排队连接的最大的数量。突然笔记本和百度网络不同了，查原因？线程之间的执行是无序的。accept阻塞等待。