realman_Rop的博客

ROH_CALI_THUMB_POS3 | 1043 | R/W | | 保留 |

睿尔曼机械臂提供了1个可持续读取机械臂状态的接口，UDP通信状态反馈接口。该接口提供了json协议、API的读取，设置通信开启之后无需再进行设置即可以固定频率读取。

基于大模型的智慧零售教育科研平台集主控与执行机构与一体，主控中采用目前主流的大模型与图文生成技术，通过自然语言处理，实现对外部环境的感知与分析；通过构建庞大的数据集和复杂的算法模型，大模型能够实现对市场趋势的准确预测以及商品库存的智能管理，同时能够根据消费者的购物历史和偏好，提供定制化的购物体验，从而提高销售额和顾客满意度。基于大模型的智慧零售教育科研平台配套全面的实训内容与资料，为教育客户群体提供涵盖机器人工程、人工智能、自动化、计算机、通信工程、电子信息等专业的课程教学与实训实验资源，

开整--------------------------------------------------------->首先默认的数据回传的地址是192.168.1.10 但是虚拟机创建时候地址不一定是默认的，所以就需要固定虚拟机ip。uint16 cycle：设置广播周期，为5ms的倍数（默认1即1*5=5ms,200Hz）。uint16 cycle：设置广播周期，为5ms的倍数（默认1即1*5=5ms,200Hz）。成功返回：true；uint16 port：设置广播的端口号（默认8089）。

位置设置：`target_pose.position.x = 0.12`, `target_pose.position.y = 0.41`, 和 `target_pose.position.z = 0.44` 分别设置了机械臂末端执行器的X, Y, 和 Z坐标。设定目标位置：`group.set_pose_target(target_pose)` 这一命令将之前定义的目标位置和姿态设置为当前机械臂组的目标，为接下来的路径规划做准备。在机械臂控制的过程中，设定精确的目标位置和姿态是实现精确操作的关键步骤。

在代码中，这可以通过调整 `cv2.GaussianBlur` 和 `cv2.erode` 的参数实现。- `cv2.findContours()` 函数用于在二值图像中查找轮廓，这里的图像是已经通过颜色阈值处理后的 `inRange_hsv`。- `cv2.RETR_EXTERNAL` 参数表示仅检索最外层轮廓，适合我们的需求，因为我们关心的是物体的外围轮廓。轮廓筛选是颜色识别后处理的重要部分，通过选择适当的轮廓可以排除不必要的小区域和误识别，提高识别的准确性。

1.1、功能简介机器人视觉教学实训平台基于睿尔曼机器人与海康机器视觉产品，面向机器人视觉系统应用而开发设计，产品涵盖机器人系统、工业视觉系统、自动化控制系统、计算机编程系统，可以在一台设备上进行多种与机器人应用技术相关的学习和实训，平台结构紧凑、拆卸方便，便于应用，支持二次开发应用设计，是一个综合性较强的机器人视觉系统实训设备。机器人视觉技术实训平台包括RM65-B机器人、海康相机、机器人导轨、平面仓库、旋转仓库、快换工具以及多种类型的末端执行器。

开发环境系统：win10Python版本：python 3.11.2由于机械臂相关软件版本不定期更新，如果你使用的软件接口或协议与本文有出入，请联系官方技术人员及时更新。

复合升降机器人是一款集成移动底盘、机械臂、末端执行器、边缘计算平台等机构形成的教学科研平台，可实现机器人建图导航、路径规划，机械臂运动学、动力学、轨迹规划、视觉识别等算法功能和应用，提供例如移动视觉抓取，智慧零售等丰富的控制案例和开放式的软件框架，支持用户针对使用场景进行特定应用开发。平台各部件尽量采用一体化集成设计，方便维护，节省空间；拥有方便易懂的人机交互界面，便于学习者能够更快的了解系统；提供多种二次开发形式，便于使用者快速利用平台适配自己的方案内容。

但是单纯使用相机得到的目标点位置是在相机坐标系下的位置，而抓取任务要得到的是目标点与机械臂之间的位置，因此这中间需要通过一些方法获得相机与机械臂之间的位置关系，从而实现目标点从相机坐标系到机械臂坐标系的转换。2、标定是通过两次改变机械臂末端（标定板）位置来解算的，这整个过程中标定板（Object）相对机械臂末端（End）的位置是固定不变的。简单讲，已知目标点A与相机B之间的坐标关系（相机获得），想要得到机械臂C与目标点A之间的坐标关系，就必须得到相机B与机械臂C之间的位置关系。舵机2：角度：500。

在上文中提供了两种命令行运行例程的方案，二者在启动的功能上略有不同。一键启动（运行dual_robot.sh）的方案启动了三个主要功能模块：①all_server.launch：此launch文件中包含了机械臂的运动服务初始化，分别启用了双臂复合机器人的左右臂MoveJ和MoveJ_P控制服务。在后续执行抓取时，将通过ROS的服务通讯来调用双臂的运动功能，驱动机械臂按照规划进行抓取。调用本例程中的方块识别模型（基于yolov5），再经由target_detect_ser节点转换识别坐标为机械臂抓取目标。

控制键”按下后，可在键盘上通过‘i’(向前)，‘k’（向后），‘j’（向左旋转），‘l’（向右旋转）四个按键对底盘进行运动控制。选中禁⾏线功能后，使⽤⿏标在界⾯内点击选择起点，继续在其他地⽅点击，两点之间会连成⼀条线，可以进⾏多次连续点击，形成连续线条。4）扫图完成后，软件会重新启动，返回到监控页面，点击“激光”可看到当前机器激光扫描的实时数据，在页面上表现为红色边界线，点击菜单栏“控制”键使底盘在一定范围内运动，扫描到尽可能多的边界线，可发现与实际地图的黑色边界线不同，需要进行手动校正。

双臂复合升降机器人的手眼标定是属于眼在手外的标定模式，相机在机器人的头部，标定前应固定相机的位置，再打开我们的标定软件程序如下，给足文件权限后，打开主程序，运行后会出现如下界面。接下来将标定板固定在机械臂的末端，可以贴在灵巧手背面，然后进行图片的获取，变换不通的姿态，保证标定板在摄像头视野内部，然后点击拍摄图片进行图像获取。首次连接，选择机械臂型号，填入机械臂ip,选择标定模式，以及测量标定板的参数后填入，点击连接设备如下。到此，我们的双臂复合机器人的手眼标定完成，

选取EG2-4C电动夹爪，舍弃气动夹爪，符合系统设计小巧、美观的原则，避免线缆和设备过多，将执行器直接集成在机械臂末端，与机械臂完成一体化运动控制。（13） 运动范围：关节1转动范围：±178°，关节2转动范围：±130°，关节3转动范围：±135°，关节4转动范围：±178°，关节5转动范围：±128°，关节6转动范围：±360°。（9） 工作湿度：10%~80%，且无凝露。（11） I/O接口：数字输出：4路、数字输入：3路、模拟量输出：4路（0-10V电压）、模拟量输入：4路（0-10V电压）

首先在rm_driver下查找到对应的下发话题，可以看到moveit的规划轨迹通过jointPos_callback下发指定json消息给机械臂，所以这里的数据是最终到机械臂控制器的，我们需要将moveit规划的轨迹以正确的格式传进来。（2）订阅各topic数据，更新。需要根据自己的设计，给出对应的urdf模型，例如在rm_scr单臂复合机器人中，我们定义腰部旋转关节joint_arm_rotary是我们的拓展关节，因此在urdf模型中给出相应的物理关系，之后再将urdf模型转为xacro模型。

末端执行器集成生态库简介睿尔曼系列机械臂有着丰富的外设接口，可十分便捷的与其他执行器相结合。如：因时二指夹爪、因时五指灵巧手、大寰夹爪、钧舵吸盘等。本文主要介绍大寰夹爪PG140型号与机械臂集成的使用。

然后，使用`pyzbar.decode`函数识别图中的二维码。在`decodeDisplay`函数中，第一步是将图像转换成灰度图（`cv2.cvtColor(video, cv2.COLOR_BGR2GRAY)`），因为灰度图处理起来更快，而且对于条码和二维码识别来说是足够的。- 函数`detect`：此函数初始化摄像头，并不断读取摄像头的帧，对每一帧调用`decodeDisplay`函数进行处理。- 导入库：首先，我们导入必要的库，包括`cv2`（OpenCV）和`pyzbar.pyzbar`。

睿眼（Realeye）是一款集智能采集、识别、定位、抓取、视控全流程为一体的 AI 产品， 以其 AI 算法结合机械臂硬件实现对万事万物的定位抓取功能，能够实现对任意目标物从图 片采集、标注到模型训练和抓取。通过人性化的交互方式、易操作的界面，将原本复杂的数据采集、模型训练、模型部署、机械臂适配、机械臂操作、视控等功能简单、易懂地呈现给用户，降低用户学习和使用成本。睿眼的模型训练功能是其亮点之一，无需复杂的理论和操作，也无需专业的设备，在笔记本电脑上就能够训练出一个自己想要的识别模型。

同理，我们也可以根据api的说明来调用其他的函数来实现不同的方式来调用我们的灵巧手，结合自己使用场景的需求来进行对应函数的选择，值得注意的是在调用函数时候最好对返回值加逻辑判断。上述操作保存好编辑的动作序列后，我们就可以用我们提供的api来进行灵巧手的调用，我们分别提供了以下的函数来进行灵巧手的操作。描述： 设置灵巧手角度，灵巧手有 6 个自由度，从 1~6 分别为小拇指，无名指， 中指，食指，大拇指弯曲，大拇指旋转。“打开离线文件”，可以打开一份动作序列数据文件的数据，并在软件的动作序列数 据区域显示。