alex机器人 ser_机器人抓取时怎么定位的？用什么传感器来检测？

忽然想起，自己是《机器视觉与应用》课程助教，所以这题也可以简单说一些东西。

首先，我们要了解，机器人领域的视觉(Machine Vision)跟计算机领域(Computer Vision)的视觉有一些不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的研究大概有这几块：物体识别(Object Recognition)：在图像中检测到物体类型等，这跟 CV 的研究有很大一部分交叉；

位姿估计(Pose Estimation)：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里；

相机标定(Camera Calibration)：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿转换到机器人位姿。

当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。

由于视觉是机器人感知的一块很重要内容，所以研究也非常多了，我就我了解的一些，按照由简入繁的顺序介绍吧：

0. 相机标定

这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要对相机的位姿进行标定。

内参标定就不说了，参照张正友的论文，或者各种标定工具箱；

外参标定的话，根据相机安装位置，有两种方式：Eye to Hand：相机与机器人极坐标系固连，不随机械臂运动而运动

Eye in Hand：相机固连在机械臂上，随机械臂运动而运动

两种方式的求解思路都类似，首先是眼在手外(Eye to Hand)

只需在机械臂末端固定一个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿

、机器人运动学正解