在ROS中使用OpenCV进行简单的图像处理---代码实现篇

原文链接

再上一篇blog中，笔者总结了ROS系统中使用OpenCV库的进行简单图像处理的原理、系统相关的设置和程序包的下载。在这篇博客中，笔者将从代码层面介绍如何实现在ROS系统中读取图片，并使用OpenCV进行图像处理，在返回结果。

实例：从ROS中读取图象，转换后将彩色图象变成灰度图象，并返回灰度图象，转换后在ROS下输出。

正文

1. 在ROS下创建工作空间

工作空间（work space）是ROS中非常重要的一个概念，可以把工作空间理解为一个大的工厂，里面的分成几个大的生产车间（package），每一个生产车间中会有若干个具有不同技能的工人（node）。当工厂运转时，每个车间中的工人（node）同时工作，他们通过话题（topic）进行信息沟通。各个大的车间之间也存在这互相依赖的关系，共同组成一个有机的整体。

因此在每次编写ROS下的程序时都应该先建立一个独立的工作空间，然后再不段的丰满它的功能。

方法如下：新建一个终端输入：

    mkdir -p cv_ws/src

    cd src

    catkin_init_workspace

    cd ..

    catkin_make

2. 在工作空间下创建程序包

创建好了工作空间，下一步需要创建程序包。在ROS中节点是实现某一个功能的可执行文件（工人），一个或者多个节点可以组成一个程序包。这样做便于代码的复用。程序包默认在工作空间中的src文件夹中创建，而node默认在程序包的src文件中创建（cpp文件）。

方法如下：在原来的终端下继续输入：

    cd src

    catkin_create_pkg robot_vision roscpp std_msgs cv_bridge image_transport sensor_msgs

    cd ..

    catkin_make
创建程序包的一般格式是catkin_create_pkg <name> <dependencies package>，在本程序中我们要用到除roscpp之外的三个程序包进行图片的转换工作

3. 创建.cpp源文件

在ubuntu系统下，没有类似vs2010那样的集成开发平台，编写程序只需要在文本中编写，命名时采用相应的后缀即可。在创建的程序包的src文件中创建一个文本文件，并命名为getImage.cpp。具体代码和注释如下：

#include<ros/ros.h> //ros标准库头文件
#include<iostream> //C++标准输入输出库
/*
  cv_bridge中包含CvBridge库
*/
#include<cv_bridge/cv_bridge.h> 
/*
  ROS图象类型的编码函数
*/
#include<sensor_msgs/image_encodings.h> 
/*
   image_transport 头文件用来在ROS系统中的话题上发布和订阅图象消息
*/
#include<image_transport/image_transport.h> 

//OpenCV2标准头文件
#include<opencv2/core/core.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/imgproc/imgproc.hpp>

static const std::string INPUT = "Input"; //定义输入窗口名称
static const std::string OUTPUT = "Output"; //定义输出窗口名称

//定义一个转换的类
class RGB_GRAY
{
private:
    ros::NodeHandle nh_; //定义ROS句柄
    image_transport::ImageTransport it_; //定义一个image_transport实例
    image_transport::Subscriber image_sub_; //定义ROS图象接收器
    //image_transport::Publisher image_pub_; //定义ROS图象发布器
public:
    RGB_GRAY()
      :it_(nh_) //构造函数
    {
        image_sub_ = it_.subscribe("camera/rgb/image_raw", 1, &RGB_GRAY::convert_callback, this); //定义图象接受器，订阅话题是“camera/rgb/image_raw”
       // image_pub_ = it_.publishe("", 1); //定义图象发布器
        //初始化输入输出窗口
        cv::namedWindow(INPUT);
        cv::namedWindow(OUTPUT);
    }
    ~RGB_GRAY() //析构函数
    {
         cv::destroyWindow(INPUT);
         cv::destroyWindow(OUTPUT);
    }
    /*
      这是一个ROS和OpenCV的格式转换回调函数，将图象格式从sensor_msgs/Image  --->  cv::Mat
    */
    void convert_callback(const sensor_msgs::ImageConstPtr& msg) 
    {
        cv_bridge::CvImagePtr cv_ptr; // 声明一个CvImage指针的实例

        try
        {
            cv_ptr =  cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::RGB8); //将ROS消息中的图象信息提取，生成新cv类型的图象，复制给CvImage指针
        }
        catch(cv_bridge::Exception& e)  //异常处理
        {
            ROS_ERROR("cv_bridge exception: %s", e.what());
            return;
        }

        image_process(cv_ptr->image); //得到了cv::Mat类型的图象，在CvImage指针的image中，将结果传送给处理函数   
    }
    /*
       这是图象处理的主要函数，一般会把图像处理的主要程序写在这个函数中。这里的例子只是一个彩色图象到灰度图象的转化
    */
    void image_process(cv::Mat img) 
    {
       cv::Mat img_out;
       cv::cvtColor(img, img_out, CV_RGB2GRAY);  //转换成灰度图象
       cv::imshow(INPUT, img);
       cv::imshow(OUTPUT, img_out);
       cv::waitKey(5);
    }
};

//主函数
int main(int argc, char** argv)
{
    ros::init(argc, argv, "RGB");
    RGB_GRAY obj;
    ros::spin();
}

4. 以下是对上面代码中核心的部分进行解释

1）头文件

#include<cv_bridge/cv_bridge.h>

头文件cv_bridge中包含了CvBridge类，而CvBridge中的API可以将ROS下的sensor_msgs/Image消息类型转化成cv::Mat

#include<sensor_msgs/image_encodings.h>

头文件sensor_msgs/Image是ROS下的图像的类型，这个头文件中包含对图像进行编码的函数。 

#include<image_transport/image_transport.h>

 

这个头文件中包含的是ImageTransport类，这个类提供ROS中图像的订阅和发布。

剩下的头文件就是如程序中的注释所示。

2）核心类的主要API

image_transport类：图像传输类，其功能和ROS中的Publisher和Subscriber差不多，但是不同的是这个类在发布和订阅图片消息的同时还附带这摄像头的信息。相比较之下，   在ROS中传送图片信息，使用image_transport类要高效的多。同时，这个类可以以不同的图像压缩形式传输图像例如JPG/PNG等等，也可以添加插件定义传输数据的压缩模式。
                                     API：
                                     image_transport::ImageTransport类：这个类成员可以定义某个话题的图像类型的发布器和订阅器（类似ros的句柄）。
                                     image_transport::Publisher类：这个类定义了image_transport中的发布器。
                                     image_transport::Subsciber类：这个类定义了image_transport中的订阅器。
cv_bridge类：这个类中提供的API主要功能是将图像从sensor_msgs/Image类型转化成cv::Mat类型。
                          API：
                          cv_bidge::CvImage类：cv_bridge中提供的数据结构，里面包括OpenCV中的cv::Mat类型的图像信息，图像编码方式，ROS头文件等等。要得到cv::Mat类型的 图像，只需要定义一个对象然后给出对象中的成员object.image即可，或者指针CvImagePtr，ptr->image。
                          cv_bridge::toCvCopy()方法：参数是ROS下的sensor_msgs/ImageConstPtr，和图像压缩类型（例如：sensor_msgs::image_encodings::RGB8）。其功能是实 现复制图像信息这样，得到副本，这样我们可以从副本的CvImage中提取cv::Mat类型的图像进行处理。核心！
                          cv_bridge::toCvShare()方法：参数同上，但是这个函数只是共享指针地址。ROS是不予许直接对图像格式的消息进行操作的。
 

5. 编译成可执行文件

在编写程序后，这个文本程序在编译成可执行文件之前是不能够运行的。首先在建立的robot_vision的程序包中的CMakeLists.txt文件中加入如下代码：

find_package(OpenCV REQUIRED)  
include_directories(${OpenCV_INCLUDE_DIRS}) 
add_executable(grayImage src/grayImage.cpp)  //将src中的文件添加成名字为grayImage的可执行文件
target_link_libraries(grayImage ${catkin_LIBRARIES} ${OpenCV_LIBS})  //将src中的文件添加成名字为grayImage的可执行文件
add_dependencies(grayImage robot_vision_generate_messages_cpp)  //给可执行文件添加依赖包

 返回到工作空间下编译。catkin_make 

find_package(OpenCV REQUIRED)  
include_directories(${OpenCV_INCLUDE_DIRS}) 
add_executable(grayImage src/grayImage.cpp)  
target_link_libraries(grayImage ${catkin_LIBRARIES} ${OpenCV_LIBS})  
add_dependencies(grayImage robot_vision_generate_messages_cpp)

6. 总结

以上就是在ROS下使用opencv所要做的所有工作。总体上来看就是因为opencv处理的图像格式和ROS系统实际提供的格式不匹配，故而有cv_bridge这个包作为沟通的桥梁。二本程序中使用image_transport代替传统的ROS中的Publisher和Subscriber是另一个突破。同时还要注意的是，ubuntu下的opencv2中的某些函数的形式和window中的不相同，使用的时候要注意。