使用ros_bridge获取深度数据

最新推荐文章于 2024-08-10 07:25:10 发布

yang&&yang

最新推荐文章于 2024-08-10 07:25:10 发布

阅读量3k

点赞数 3

分类专栏： ros学习文章标签： ROS

本文链接：https://blog.csdn.net/yang__jing/article/details/78491551

版权

ros学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、综述

ROS有其自己的消息格式为sensor_msgs/Image的显示图像，但是许多开发者想结合OpenCV来显示处理图像。CvBridge是ROS的一个类，此类提供了ROS与opencv相结合的接口。CvBridge能够在cv_bridge包中的vision_opencv栈中找到。
在本教程中，你将学会通过CvBridge编写一个节点并以此将ros图像转化为opencv中的CV::Mat格式。同样的，你也会学会将opencv图像转化为ros图像。
这里写图片描述

二、ros图像信息转化为opencv图像

CVBridge定义了一个包含opencv图像的CvImage类型。CvImage包含额外的sensor_msgs/Image信息，因此我们可以将上述俩者进行相互转换。当将ros的sensor_msgs/Image信息转化为CvImage时，CvBridge提供俩种不同的用例。
1.在我们要修改数据的地方。我们必须复制一份ros的信息数据。
2.如果我们不修改数据。我们可以安全地分享由ros消息所拥有的数据，而不用复制。
CvBridge为向CvImage转化提供如下函数：

Case 1: Always copy, returning a mutable CvImage  
CvImagePtr toCvCopy(const sensor_msgs::ImageConstPtr& source,  
                    const std::string& encoding = std::string());  
CvImagePtr toCvCopy(const sensor_msgs::Image& source,  
                    const std::string& encoding = std::string());  

// Case 2: Share if possible, returning a const CvImage  
CvImageConstPtr toCvShare(const sensor_msgs::ImageConstPtr& source,  
                          const std::string& encoding = std::string());  
CvImageConstPtr toCvShare(const sensor_msgs::Image& source,  
                          const boost::shared_ptr<void const>& tracked_object,  
                          const std::string& encoding = std::string());

输入是图像的消息指针，以及一个可选的编码参数。编码是指定的cvimage。
toCvCopy从ROS信息中创建图像数据的副本，即使当源和目的地encodings匹配。然而，你可以自由修改返回的cvimage。
toCvShare将cv::Mat点返回在ROS的消息数据，避免复制，如果源和目的编码匹配。只要你保持一份返回的cvimage，ROS的消息数据将不会释放。如果编码不匹配时，它将分配一个新的缓冲区，执行转换。您不得修改返回的cvimage，因为它可能与ROS的图像信息共享数据，这反过来又可能与其他回调共享。
对于常见的图像编码，cvbridge会选择做颜色或像素深度转换是必要的。要使用此功能，指定编码为以下字符串之一:

    const std::string RGB8 = "rgb8";
    const std::string RGBA8 = "rgba8";
    const std::string RGB16 = "rgb16";
    const std::string RGBA16 = "rgba16";
    const std::string BGR8 = "bgr8";
    const std::string BGRA8 = "bgra8";
    const std::string BGR16 = "bgr16";
    const std::string BGRA16 = "bgra16";
    const std::string MONO8="mono8";
    const std::string MONO16="mono16";

    // OpenCV CvMat types
    const std::string TYPE_8UC1="8UC1";
    const std::string TYPE_8UC2="8UC2";
    const std::string TYPE_8UC3="8UC3";
    const std::string TYPE_8UC4="8UC4";
    const std::string TYPE_8SC1="8SC1";
    const std::string TYPE_8SC2="8SC2";
    const std::string TYPE_8SC3="8SC3";
    const std::string TYPE_8SC4="8SC4";
    const std::string TYPE_16UC1="16UC1";
    const std::string TYPE_16UC2="16UC2";
    const std::string TYPE_16UC3="16UC3";
    const std::string TYPE_16UC4="16UC4";
    const std::string TYPE_16SC1="16SC1";
    const std::string TYPE_16SC2="16SC2";
    const std::string TYPE_16SC3="16SC3";
    const std::string TYPE_16SC4="16SC4";
    const std::string TYPE_32SC1="32SC1";
    const std::string TYPE_32SC2="32SC2";
    const std::string TYPE_32SC3="32SC3";
    const std::string TYPE_32SC4="32SC4";
    const std::string TYPE_32FC1="32FC1";
    const std::string TYPE_32FC2="32FC2";
    const std::string TYPE_32FC3="32FC3";
    const std::string TYPE_32FC4="32FC4";
    const std::string TYPE_64FC1="64FC1";
    const std::string TYPE_64FC2="64FC2";
    const std::string TYPE_64FC3="64FC3";
    const std::string TYPE_64FC4="64FC4";

    // Bayer encodings
    const std::string BAYER_RGGB8="bayer_rggb8";
    const std::string BAYER_BGGR8="bayer_bggr8";
    const std::string BAYER_GBRG8="bayer_gbrg8";
    const std::string BAYER_GRBG8="bayer_grbg8";
    const std::string BAYER_RGGB16="bayer_rggb16";
    const std::string BAYER_BGGR16="bayer_bggr16";
    const std::string BAYER_GBRG16="bayer_gbrg16";
    const std::string BAYER_GRBG16="bayer_grbg16";

三、OpenCV图像转换为ROS图像
将Cvimage图像转换为ros图像，使用toImageMsg()成员函数：

class CvImage  
{  
  sensor_msgs::ImagePtr toImageMsg() const;  

  // Overload mainly intended for aggregate messages that contain  
  // a sensor_msgs::Image as a member.  
  void toImageMsg(sensor_msgs::Image& ros_image) const;  
};

四、ROS节点例子

1.在工作空间下创建程序包

这里是一个节点，监听ROS图像信息话题，将图像转换为cv::Mat并在其上画圆，用opencv显示图像。并输出深度值。
在工作空间下创建程序包

cd catkin_ws/src
catkin_create_pkg robot_vision roscpp std_msgs cv_bridge image_transport sensor_msgs  
cd ..  
catkin_make

2.创建.cpp源文件

在创建的程序包的src文件中创建一个文本文件，并命名为getImage.cpp

#include<ros/ros.h>
#include<iostream>
#include<cv_bridge/cv_bridge.h>
#include<sensor_msgs/image_encodings.h>
#include<image_transport/image_transport.h>

//OpenCV2标准头文件  
#include<opencv2/core/core.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/imgproc/imgproc.hpp>

class RGB_GRAY
{
private:
    ros::NodeHandle nh_;
    image_transport::ImageTransport it_;
    image_transport::Subscriber image_sub_, depth_sub_;
public:
    RGB_GRAY()
      :it_(nh_)
    {
        image_sub_ = it_.subscribe("camera/rgb/image_raw", 1, &RGB_GRAY::convert_callback, this);
        depth_sub_ = it_.subscribe("/camera/depth/image", 1, &RGB_GRAY::depth_callback, this);
        cv::namedWindow("image");
        cv::namedWindow("depth");
    }

    ~RGB_GRAY()
    {
         cv::destroyWindow("image");
         cv::destroyWindow("depth");
    }

    void convert_callback(const sensor_msgs::ImageConstPtr& msg)
    {
        cv::Mat image;
        try
        {
            image =  cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::BGR8) -> image;
        }
        catch(cv_bridge::Exception& e)
        {
            ROS_ERROR("cv_bridge exception: %s", e.what());
            return;
        }

//        image.at<cv::Vec3b>(image.rows / 2, image.cols / 2)[0] = 255;
//        image.at<cv::Vec3b>(image.rows / 2, image.cols / 2)[1] = 255;
//        image.at<cv::Vec3b>(image.rows / 2, image.cols / 2)[2] = 0;

        cv::circle(image, cvPoint(image.cols / 2, image.rows / 2), 2, cv::Scalar(255, 0, 0), -1);

//        ROS_INFO("%d, %d", image.cols, image.rows);

        cv::imshow("image", image);
        cv::waitKey(5);
    }

    void depth_callback(const sensor_msgs::ImageConstPtr& msg)
    {
        cv::Mat image;
        try
        {
            image =  cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::TYPE_32FC1) -> image; //image.type==CV32FC1   5
        }
        catch(cv_bridge::Exception& e)
        {
            ROS_ERROR("cv_bridge exception: %s", e.what());
            return;
        }

        cv::imshow("depth", image);
        cv::waitKey(5);
        ROS_INFO("%f", image.at<float>(image.rows / 2, image.cols / 2));

    }
};


int main(int argc, char** argv)
{
    ros::init(argc, argv, "RGB");
    RGB_GRAY obj;
    ros::spin();
}

3.编译成可执行文件

在编写程序后，这个文本程序在编译成可执行文件之前是不能够运行的。首先在建立的robot_vision的程序包中的CMakeLists.txt文件中加入如下代码：

add_executable(grayImage src/grayImage.cpp)  
target_link_libraries(grayImage ${catkin_LIBRARIES})  
add_dependencies(grayImage robot_vision_generate_messages_cpp)

资源下载地址：
http://download.csdn.net/my

参考链接：
http://blog.csdn.net/qq_27050183/article/details/51141998
http://blog.csdn.net/robogreen/article/details/50488215
https://www.cnblogs.com/ronny/p/opencv_road_2.html