ROS学习九、ros中的图像处理包（1）RGBD图像转PCL

前言

最近又在弄仿真，需要把RGBD相机转成点云。

ROS自带的图像处理包image_pipeline

ROS提供了用于单目、双目、深度图像处理、相机标定和可视化的工具，包含在集成模块image_pipeline中。主要有以下几个包：

camera_calibration相机标定

depth_image_proc深度图像处理

image_proc基本图像处理

stereo_image_proc双目图像处理

image_view图像可视化

image_rotate图像旋转

image_publisher图像发布

ROS的图像处理模块做的还是很实用的。

depth_image_proc包

image_pipeline提供了深度图像处理包depth_image_proc，因此从深度图转点云图很方便，不需要自己求算相机的内参外参。

需要注意的是，depth_image_proc包需要通过nodelet使用。

深度图转点云

最重要的首先就是深度图转点云，ROS通过nodelet插件载入depth_image_proc/point_cloud_xyz方法来进行RGBD图像与PCL的转换。

depth_image_proc/point_cloud_xyz订阅深度相机的参数以及深度图像，并发布点云：

Subscribe:
	camera_info (sensor_msgs/CameraInfo)
	image_rect (sensor_msgs/Image)
Publish:
	points (sensor_msgs/PointCloud2)
Params:
	queue_size (int, default: 5)

实际使用时，可采用以下launch文件写法：

  <!-- PCL cloud -->
  <node pkg="nodelet" type="nodelet" name="nodelet_pcl_manager" args="manager" />
  <node pkg="nodelet" type="nodelet" name="rgbd_pcl"
        args="load depth_image_proc/point_cloud_xyz nodelet_pcl_manager">
    <remap from="camera_info" to="/mycamera/depth/camera_info"/>
    <remap from="image_rect" to="/mycamera/depth/image_raw" />
    <remap from="points" to="/mycamera/depth/rgbd_points"/>
    <param name="queue_size" value="5" />
  </node>

上面的launch文件把depth_image_proc/point_cloud_xyz原本订阅和发布的话题映射到了实际使用的话题上。

RGB与深度图转PCL

ROS还提供了将RGB图与深度图配准后投影到点云的方法，depth_image_proc/point_cloud_xyz：

Subscribe:
	rgb/camera_info (sensor_msgs/CameraInfo)
	rgb/image_rect_color (sensor_msgs/Image)
	depth_registered/image_rect (sensor_msgs/Image)
Publish:
	depth_registered/points (sensor_msgs/PointCloud2)
Params:
	queue_size (int, default: 5)

具体的launch文件与纯深度图转点云类似。需要注意的是，首先要把深度图重投影到RGB图上，也就是“配准”，然后再转RGB点云。

深度图投影到RGB图

ROS提供了一个将深度图重投影到RGB图上的方法，depth_image_proc/register：

Subscribe:
	rgb/camera_info (sensor_msgs/CameraInfo)
	rgb/image_rect_color (sensor_msgs/Image)
	depth/image_rect (sensor_msgs/Image)
Publish:
	depth_registered/camera_info (sensor_msgs/CameraInfo)
	depth_registered/image_rect (sensor_msgs/Image)
Params:
	queue_size (int, default: 5)
Required TF:
	/depth_optical_frame → /rgb_optical_frame

投影时，需要从深度相机光轴坐标系到RGB相机坐标系的TF。

深度图尺度转换

ROS还提供了一个从uint16类型的深度图(mm)转为float类型深度图(m)的方法depth_image_proc/convert_metric：

Subscribe:
	image_raw (sensor_msgs/Image)
Publish:
	image (sensor_msgs/Image)

最后，还有一个深度图转视差图的方法depth_image_proc/disparity，但实际中用的比较少。

后记

本次记录了在ROS中使用depth_image_proc包将RGBD数据转换为点云数据的方法，加深一下工具使用能力。