机械臂抓取从入门到实战

计算机视觉工坊

于 2024-09-27 18:58:19 发布

阅读量422

点赞数 16

文章标签： 3d YOLO 自动驾驶计算机视觉人工智能

本文链接：https://blog.csdn.net/weixin_46788581/article/details/142600384

版权

目前机器人作为智能制造的重要组成部分，已经广泛应用于各行各业。但是大部分机器人都是通过示教过程实现生产制造的，编程简单快捷，不需要考虑复杂的轨迹规划，这样往往只能重复对固定位置的物体进行搬运或抓取，无法实现真正的智能化操作。随着工业智能化改造的不断深入，许多企业进行产线升级，逐渐将机器视觉技术引入生产制造过程中，应用于生产线对物料校准和定位，将视觉系统作为机器人对外界环境感知的一种辅助定位系统，就像给工业机器人装上了眼睛，采集场景信息，由控制器进行处理、判断，进而完成对应的控制指令。

机器人视觉抓取的目的是使用一个机械手模型(包括二指或多指夹爪，吸盘等)，以RGB或RGBD相机采集的场景图像为输入计算出一个最优的抓取位姿，使机械手在该位姿下可以稳定地抓取模型已知或未知的物体。其中机器人平面抓取是指限制机器人垂直桌面抓取，即为RPY角中的Roll和Pitch设为定值，抓取算法只需预测(x, y, z, yaw, width)。其中(x, y)为RGB图像或者深度图中的像素点位置，z为深度相机对应抓取点距离相机的深度，yaw表示机械手沿z轴的旋转角，或机械手闭合方向与图像水平轴的夹角；width表示机械手张开宽度。相对于6DOF位姿估计抓取算法，平面抓取算法使用更简单的深度学习模型可以优化预测速度，提高抓取成功率。下列为机器人抓取任务的工业现场图：

目前，各个大厂如美的库卡、小米、华为、亚马逊、谷歌等均在大力发展机器人结合视觉抓取在物流运输、智能制造等领域的应用。在《中国制造2025》和“十三五规划”等政策推动下，由“中国制造”到“中国智造”已是必然趋势，行业外部发展环境利好，内部资本实力雄厚、薪酬可观，且不存在中年危机等互联网企业通病，是目前理想的就业方向。以下是某招聘网站发布的招聘需求和薪资待遇：

机器人平面抓取任务已广泛应用于各行各业，如服务机器人，机器人搬运、分拣、上料等。然而由于机器人抓取任务不仅包含视觉算法，也需要熟悉机器人的建模、运动学、轨迹生成、路径规划等原理，知识点繁多复杂，因此不论是高校、科研院所或者是企业都尚未形成完整的知识体系。对于想学习机器人抓取的学员，只能依靠网络上零散无序的知识片段拼凑学习，时间利用率极低。

为此，我们推出了机器人抓取课程，课程将会在环境配置，ROS基础，机器人基础，平面抓取网络，机器人抓取实战等方面进行详细展开。无论是理论基础还是实践应用，都可以使初学者或具有一定经验的从业者从中受益，课程大纲如下：