ROS by example -第十章 机器人视觉

10.1 OpenCV, OpenNI and PCL

在ROS社区计算机视觉的三大支柱是OpenCV，OpenN I2+OpenKinec和PCL 。

OpenCV用于2D图像处理和机器学习。 

OpenNI2和OpenKinect提供深度相机，如微软Kinect和华硕Xtion Pro驱动程序。

PCL是点云库，处理3D点云库的是首选。

Ecto, 一个视觉框架，允许我们可通过统一的接口访问OpenCV 和 PCL这2个库.

在本章中，我们将学习如何：
•使用ROS连接到网络摄像头或RGB-D（深度）相机
•使用ROS cv_bridge和OpenCV处理ROS图像流
•写ROS程序侦测脸部，利用光流跟踪关键点，并跟踪特定颜色的物体
•使用RGB-D摄像机和OpenNI/ OpenKinect 跟踪用户的骨骼
•使用PCL 检测离Robot最近的人

10.2 关于相机分辨率

分辨率太高，处理器吃不消， 太低达不到要求。人脸检测和颜色追踪，额外的像素又是多余的。

ROS 相机启动文件默认分辨率为640x480。如果需要更低或更高的分辨率，可以使用rqt_reconfigure或修改相机启动文件来改变分辨率模式。
注：对于微软Kinect和freenect，640×480（VGA）是最低分辨率。

10.3.1安装ROS OpenNI和OpenKinect（freenect）驱动程序

$sudo apt-get install ros-indigo-openni-* ros-indigo-openni2-* \ros-indigo-freenect-*
$rospack profile

10.3.2安装摄像头驱动程序

官方的驱动程序包是libuvc_camera，但它需要root权限或增加为您相机的具体供应商b规则。由于包的作者不再维护，我们切换到博世的usb_cam

$cd ~/catkin_ws/src
$git clone https://github.com/bosch-ros-pkg/usb_cam.git
$cd ~/catkin_ws
$catkin_make
$rospack profile

10.3.3 测试Kinect VS Xtion

使用 ROS image_view 包观看视频流

Microsoft Kinect:

$roslaunch freenect_launch freenect-registered-xyzrgb.launch

Asus Xtion, Xtion Pro, or Primesense 1.08/1.09 cameras:

$roslaunch openni2_launch openni2.launch depth_registration:=true

$rosrun image_view image_view image:=/camera/rgb/image_raw

$rosrun image_view image_view image:=/camera/depth_registered/image_rect

10.3.4测试USB摄像头

10.4 在Ubuntu上安装 OpenCV

10.5 ROS到OpenCV：cv_bridge包

10.8 OpenCV：开源计算机视觉库

10.8.1人脸检测

OpenCV的人脸检测采用了级联分类器与Haar特征。

10.8.2使用GoodFeaturesToTrack进行关键点检测

10.8.3使用光流跟踪关键点

Lucas-Kanade 光流算法calcOpticalFlowPyrLK()

10.8.6基于颜色的跟踪算法camshift

Camshift算法就是“连续自适应的Mean shift算法”

10.9 OpenNI和骨架跟踪

10.9.1安装NITE和openni_tracker

10.10 PCL Nodelets和三维点云

10.10.1 PassThrough 过滤器

10.10.3 VoxelGrid 过滤器