Ros图像与Opencv图像的相互转换

概述

ROS有其自己的消息格式为sensor_msgs/Image的显示图像，但是许多开发者想结合OpenCV来显示处理图像。CvBridge是ROS的一个类，此类提供了ROS与opencv相结合的接口。下图是CvBridge作为连接二者的关系图。

在ros中采集到的深度图数据类型sensor_msgs::image。如果要利用opencv对该深度图像进行操作，则需要转换成opencv的图像数据类型Mat，这一步转换操作通过cv_bridge完成。当将ros的sensor_msgs/Image信息转化为cv::Mat时，CvBridge提供俩种不同的用例。
1.在我们要修改数据的地方。我们必须复制一份ros的信息数据。
2.如果我们不修改数据。我们可以安全地分享由ros消息所拥有的数据，而不用复制。
CvBridge为向CvImage转化提供如下函数：

/**
 * \brief Convert a sensor_msgs::Image message to an OpenCV-compatible CvImage, copying the
 * image data.
 *
 * \param source   A shared_ptr to a sensor_msgs::Image message
 * \param encoding The desired encoding of the image data, one of the following strings:
 *    - \c "mono8"
 *    - \c "bgr8"
 *    - \c "bgra8"
 *    - \c "rgb8"
 *    - \c "rgba8"
 *    - \c "mono16"
 *
 * If \a encoding is the empty string (the default), the returned CvImage has the same encoding
 * as \a source.
 */
// Case 1: Always copy, returning a mutable CvImage
CvImagePtr toCvCopy(const sensor_msgs::ImageConstPtr& source,
                    const std::string& encoding = std::string());
CvImagePtr toCvCopy(const sensor_msgs::Image& source,
                    const std::string& encoding = std::string());

// Case 2: Share if possible, returning a const CvImage
CvImageConstPtr toCvShare(const sensor_msgs::ImageConstPtr& source,
                          const std::string& encoding = std::string());
CvImageConstPtr toCvShare(const sensor_msgs::Image& source,
                          const boost::shared_ptr<void const>& tracked_object,
                          const std::string& encoding = std::string());

toCvCopy复制数据并返回复制数据地址指针cv_bridge::CvImagePtr
toCvShare获取数据并返回源数据地址指针cv_bridge::CvImageConstPtr

图像编码可以是一下任意一种OpenCV支持的图像编码：

8UC[1-4]
8SC[1-4]
16UC[1-4]
16SC[1-4]
32SC[1-4]
32FC[1-4]
64FC[1-4]

对于某些常用的编码，CvBridge提供了可选的color或pixel depth的转换，要想使用这个特性，需要指定以下编码格式：

mono8: CV_8UC1, grayscale image
mono16: CV_16UC1, 16-bit grayscale image
bgr8: CV_8UC3, color image with blue-green-red color order
rgb8: CV_8UC3, color image with red-green-blue color order
bgra8: CV_8UC4, BGR color image with an alpha channel
rgba8: CV_8UC4, RGB color image with an alpha channel

其中mono8和bgr8是大多数OpenCV函数所期望的图像编码格式。
下面是ROS消息转化为Opencv Mat类型：

cv_bridge::CvImagePtr = cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::BGR8);
cv::Mat img = cv_ptr->image;

RGBD图像采集

通过image_transport包，根据给定的采集速度从realsense发布的topic中订阅深度图的代码。其中，深度图编码方式为：encoding: “32FC1”。

void depth_Callback(const sensor_msgs::ImageConstPtr& depth_msg)
{
  cv_bridge::CvImagePtr depth_ptr;
  try
  {
    //cv::imshow("depth_view", cv_bridge::toCvShare(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1)->image);
    //depth_ptr = cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1); 
    cv::imshow("depth_view", cv_bridge::toCvShare(depth_msg, sensor_msgs::image_encodings::TYPE_32FC1)->image);
    depth_ptr = cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_32FC1); 

    cv::waitKey(10);
  }
  catch (cv_bridge::Exception& e)
  {
    ROS_ERROR("Could not convert from '%s' to '32fc1'.", depth_msg->encoding.c_str());
  }

}

在上述代码中， sensor_msgs::image_encodings::TYPE_32FC1 表示将ros数据类型转换cv数据类型的编码方式。一般而言，深度图的编码方式都有8UCx, 16UC1, 32FC1等三种。在我们的程序中，如何判断选用哪种编码方式呢？最好的方法就是，将深度图消息打印出来，查看编码方式，以此选定编码方式。

读取深度值

深度图转换成opencv的数据类型后，需要读取其中的深度值。这里着重介绍opencv矩阵元素的操作方法。
利用Mat的at函数读取：
单通道：

Mat img1 = imread(filename,IMREAD_GRAYSCALE);  
for( size_t nrow = 0; nrow < img1.rows; nrow++)  
{  
    for(size_t ncol = 0; ncol < img1.cols; ncol++)  
    {  
        uchar val = mat_CV_8UC1.at<uchar>(nrow,ncol);      
    }  
}

多通道：

Mat img2 = imread(filename,IMREAD_COLOR);  
for( size_t nrow = 0; nrow < img2.rows; nrow++)  
{  
   for(size_t ncol = 0; ncol < img2.cols; ncol++)  
   {  
       Vec3i bgr = mat_CV_8UC3.at<Vec3b>(nrow,ncol);//用Vec3b也行  
       cout   << "("<<bgr.val[0]<<","  
               <<bgr.val[1]<<","  
               <<bgr.val[2]<<")";  
   }  
   cout << endl;  
} 

关于如何判断opencv矩阵元素的数据类型，cv::Mat 类的对象有一个成员函数 type() 用来返回矩阵元素的数据类型，返回值是 int类型，不同的返回值代表不同的类型。
根据下表可以查找返回值和具体类型之间的对应关系。

关于ROS和Opencv的关系和使用方法就介绍到这里了，感兴趣的可以自己尝试一下。

参考：
读取深度值 : https://www.cnblogs.com/gdut-gordon/p/9151740.html

OpenCV 矩阵元素的数据类型：https://www.jianshu.com/p/204f292937bb