机械臂 碰撞检测 路径规划 视觉影像 智能分割 位姿估计 3D抓取 就这么结合到一起了

机械臂 碰撞检测 路径规划 视觉影像 智能分割 位姿估计 3D抓取 就这么结合到一起了

结合到一起是个啥样子呢
大概可以是这样，当然可以更好的，更酷的，更有意思的

机械臂模型要显示出来

背景像不像Tiffany蓝
模型里包含了机械臂、夹爪、固定底盘、工作台。
有俩机械臂，一个用来实时显示实际机械臂实际状态，一个用来跟人交互，显示机械臂假设的状态。

要跟人交互

跟机械臂交互的这个“人”，可以衍生出很多东西啊
一个轴一个轴的没啥意思，直接拖着爪子走要直观一点。

交互是个啥样子呢，无非就是变变姿态和位置，ROS里都有。

要规划一条无碰撞的轨迹

为啥无碰撞呢，因为大黑框挺贵的，夹爪也挺贵，还脆弱的不行
有好多做检测到碰撞停止的，为啥要让他碰呢，动力学那么复杂，总线那么复杂，缩短控制周期那么难。
输入一条命令，他就把不带碰撞的轨迹规划出来，还给显示出来了，这多好。当然ROS里也有。

要保证目标位置不发生碰撞

目标要是发生碰撞，那就是奔着碰撞去了，碰坏了就赔吧。

ROS里是发生碰撞的部位就让它红喽，我觉得挺好，简单的演示也试过。感觉需要考虑的还不少，以后再细化。

再规划一条伸进盒子里的轨迹吧。
每次的结果都值得期待。这里值得针对特定场景想想特定方案。通用的不是最好的。

要支持多种模型

就支持一种机器人模型多孤单啊。
顺便也显示一下抓手上相机拍到的点云啥的吧，让他放眼看世界，让我看到他看到的世界。
精度也不用太高吧，千把块钱得了。

要在相机视野中找到目标

相机拍了一张图片，发现了他喜欢的一个圆柱，还把圆柱的边给描了出来。误识别出了两个东西，“智能”这个词吧，算是废了

要能定位目标

采到了目标的点云，估计出了空间中要抓他的位置和姿态。这里也挺有意思，圆柱有无数种姿态可以抓，得从中挑选出一个。

要去抓

试图去抓，抓不抓得上呢，当然能了。

别的姿态也得能抓。

要扫一下