Opencv之Mat操作(重要)

1.Mat基础

在计算机内存中，数字图像是已矩阵的形式保存的。OpenCV2中，数据结构Mat是保存图像像素信息的矩阵，它主要包含两部分：矩阵头和一个指向像素数据的矩阵指针。

矩阵头主要包含，矩阵尺寸、存储方法、存储地址和引用次数等。

矩阵头的大小是一个常数，不会随着图像的大小而改变，但是保存图像像素数据的矩阵则会随着图像的大小而改变，通常数据量会很大，比矩阵头大几个数量级。这样，在图像复制和传递过程中，主要的开销是由存放图像像素的矩阵而引起的。因此，OpenCV使用了引用次数，当进行图像复制和传递时，不再复制整个Mat数据，而只是复制矩阵头和指向像素矩阵的指针。例如：

1 2 3

cv::Mat a ; //创建矩阵头 a = cv::imread( "f:\\psb.jpg" ); //读入图像 cv::Mat b = a ; //复制

上面的a，b有各自的矩阵头，但是其矩阵指针指向同一个矩阵，也就是其中任何一个改变了矩阵数据都会影响另外一个。

那么，多个Mat共用一个矩阵数据，最后谁来释放矩阵数据呢？

这就是引用计数的作用，当Mat对象每被复制一次时，就会将引用计数加1，而每销毁一个Mat对象（共用同一个矩阵数据）时引用计数会被减1，当引用计数为0时，矩阵数据会被清理。

 

上图是Mat对象a，b共用一个矩阵，故其引用计数refcount为2.

但是有些时候仍然会需要复制矩阵数据本身（不只是矩阵头和矩阵指针），这时候可以使用clone 和copyTo方法。

cv::Mat c = a.clone();
cv::Mat d ;
a.copyTo(d);

上面代码中的c，d各自拥有自己的矩阵，改变自己的矩阵数据不会相互影响。

在使用Mat中，需要记住：

1. OpenCV中的内存分配是自动完成的（不是特别指定的话）
2. 使用OpenCV的C++ 接口时不需要考虑内存释放问题
3. Mat的赋值运算和拷贝构造函数只会拷贝矩阵头，仍然共同同一个矩阵
4. 如果要复制矩阵数据，可以使用clone和copyTo函数

2.Mat存储方法

Mat中矩阵的每个元素可以使用不同的数据类型，最小的数据类型是char，占用一个字节或者8位，可以是有符号的（0到255）或者是无符号的（-127到127）。在RGB颜色空间中，使用三个char类型可以表示1600万中颜色，但在图像处理的过程中有可能会使用到float或者double来表示图像的像素。

Mat的创建

构造函数

cv::Mat img(2,2,CV_8UC3,cv::Scalar(0,0,255));

上述代码创建了一个2行2列的矩阵，矩阵元素使用8位无符号char类型保存，具有3通道，每个像素的初始值是（0，0，255）
构造函数的前两个参数指定了矩阵的行和列
第三个参数指定矩阵元素的数据类型以及通道数，其指定规则如下：

CV_[The number of bits per item][Signed or Unsigned][TypePrefix]C[The channel number]

四部分分别指定：元素的大小，是有符号还是无符号，数据类型以及通道数

最后一个参数，Scalar是short型的vector，提供矩阵的初始化。

Create方法

该方法不能为矩阵设置初始值，只是在改变尺寸时为矩阵数据重新分配内存。使用方法：

img.create(4,4,CV_8UC(2));

创建了一个4行4列有2个通道的矩阵

MATLAB形式的初始化

cv::Mat e = cv::Mat::eye(4,4,CV_64F);
cv::Mat z = cv::Mat::ones(2,2,CV_32F);
cv::Mat o = cv::Mat::zeros(3,3,CV_8UC1);

Mat e是4行4列的对角矩阵

Mat z是2行2列的单位矩阵

Mat o是3行3列的零矩阵

小矩阵的初始化

对于小矩阵可以使用逗号分割的初始化函数

Mat c =(Mat_<double>(3,3)<<1,2,3,0,-1,0,4,5,6);

在对图像进行模板运算时，定义模板使用这种方法是很方便的。

3.Mat的输入输出

使用imread函数，向Mat对象中写入一个图像。

a = cv::imread("f:\\psb.jpg");//读入图像

imread的原型如下

cv::Mat imread(const string& filename,int flags=1)

filename指定要读取图像的位置

flags指定图像的颜色空间  

    flags > 0 3通道的彩色图像

     flags = 0 灰度图像

    flags < 0 不作改变

也可以有以下的枚举值

CV_LOAD_IMAGE_ANYDEPTH、 CV_LOAD_IMAGE_COLOR、 CV_LOAD_IMAGE_GRAYSCALE

 

使用imwrite函数，将Mat对象保存到指定的文件中。

imwrite的函数原型如下：

bool imwrite(const string& filename,InputArray img,constvector<int>& params=vector<int>())

filename，指定的文件

img  要保存的Mat对象

params 用来指定图像的保存编码方式。

使用filename的扩展名来指定图像的保存格式（.jpg  .png  .bmp），对于不同的图像保存类型，params是不同的值

• JPEG，params用来指定图像的质量（0到100），默认的是95.  CV_IMWRITE_JPEG_QUALITY
• PNG，params用来指定图像的压缩级别（0到9），压缩级别越高图像占用的空间越小，保存图像所用的时间越久。默认值是3. CV_IMWRITE_PNG_COMPRESSION
• PPM,PGM,PBM，params是一个标记（0或者1），默认的是1.CV_IMWRITE_PXM_BINARY

imwrite只能保存8位（ 或者是16位无符号（CV_16UC）的PNG,JPEG200或者TIFF图像） 单通道或者三通道的图像， 如果要保存的不是这样的图片，可以使用convertTo或者cvtColor来进行转变。

下面代码展示了如果使用imwrite向文件中写入一个4通道的png图像

void createAlphaMat(Mat &mat) 
{
    for(int i = 0 ; i < mat.rows ; i ++) {
        for(int j = 0 ; j < mat.cols ; j ++) {
            Vec4b &rgba = mat.at<Vec4b>(i,j);
            rgba[0] = UCHAR_MAX ;
            rgba[1] = saturate_cast<uchar>((float (mat.cols - j)) / ((float)mat.cols) * UCHAR_MAX);
            rgba[2] = saturate_cast<uchar>((float (mat.rows - i)) / ((float)mat.rows) * UCHAR_MAX);
            rgba[3] = saturate_cast<uchar>(0.5 * (rgba[1] + rgba[2]));
        }
    }
}
int main()
{
    Mat mat(480,640,CV_8UC4);
    createAlphaMat(mat);

    vector<int> compression_params ;
    compression_params.push_back(CV_IMWRITE_PNG_COMPRESSION);
    compression_params.push_back(9);

    imwrite("alpha.png",mat,compression_params);

    return 0;
}

 

4.Mat的显示

OpenCV提供了用以窗口的形式显示图片的方法，代码如下：

Mat img = imread("f:\psb.jpg");
const string name ="Hu";
namedWindow(name);
imshow(name,img);
waitKey();

 

OpenCV2:Mat属性type，depth，step

在OpenCV2中Mat类无疑使占据着核心地位的，前段时间初学OpenCV2时对Mat类有了个初步的了解，见OpenCV2:Mat初学。这几天试着用OpenCV2实现了图像缩小的两种算法：基于等间隔采样和基于局部均值的图像缩小，发现对Mat中的数据布局和一些属性的认知还是懵懵懂懂，本文对Mat的一些重要属性和数据布局做一个总结。

 

Mat的作用

The class Mat represents an n-dimensional dense numerical single-channel or multi-channel array. It can be used to store real or complex-valued vectors and matrices, grayscale or color images, voxel volumes, vector fields, point clouds, tensors, histograms (though, very high-dimensional histograms may be better stored in a SparseMat ).

上面的一段话引用自官方的文档，Mat类用于表示一个多维的单通道或者多通道的稠密数组。能够用来保存实数或复数的向量、矩阵，灰度或彩色图像，立体元素，点云，张量以及直方图（高维的直方图使用SparseMat保存比较好）。简而言之，Mat就是用来保存多维的矩阵的。

Mat的常见属性

• data  uchar型的指针。Mat类分为了两个部分:矩阵头和指向矩阵数据部分的指针，data就是指向矩阵数据的指针。
• dims 矩阵的维度，例如5*6矩阵是二维矩阵，则dims=2，三维矩阵dims=3.
• rows  矩阵的行数
• cols   矩阵的列数
• size 矩阵的大小，size(cols,rows),如果矩阵的维数大于2，则是size(-1,-1)
• channels 矩阵元素拥有的通道数，例如常见的彩色图像，每一个像素由RGB三部分组成，则channels = 3

下面的几个属性是和Mat中元素的数据类型相关的。

• type 
  表示了矩阵中元素的类型以及矩阵的通道个数，它是一系列的预定义的常量，其命名规则为CV_(位数）+（数据类型）+（通道数）。具体的有以下值： 
  

  CV_8UC1	CV_8UC2	CV_8UC3	CV_8UC4
  CV_8SC1	CV_8SC2	CV_8SC3	CV_8SC4
  CV_16UC1	CV_16UC2	CV_16UC3	CV_16UC4
  CV_16SC1	CV_16SC2	CV_16SC3	CV_16SC4
  CV_32SC1	CV_32SC2	CV_32SC3	CV_32SC4
  CV_32FC1	CV_32FC2	CV_32FC3	CV_32FC4
  CV_64FC1	CV_64FC2	CV_64FC3	CV_64FC4

  这里U（unsigned integer）表示的是无符号整数，S（signed integer）是有符号整数，F（float）是浮点数。 
  例如：CV_16UC2，表示的是元素类型是一个16位的无符号整数，通道为2. 
  C1，C2，C3，C4则表示通道是1,2,3,4 
  type一般是在创建Mat对象时设定，如果要取得Mat的元素类型，则无需使用type，使用下面的depth
• depth 
  矩阵中元素的一个通道的数据类型，这个值和type是相关的。例如 type为 CV_16SC2，一个2通道的16位的有符号整数。那么，depth则是CV_16S。depth也是一系列的预定义值， 
  将type的预定义值去掉通道信息就是depth值: 
  CV_8U CV_8S CV_16U CV_16S CV_32S CV_32F CV_64F
• elemSize 
  矩阵一个元素占用的字节数，例如：type是CV_16SC3，那么elemSize = 3 * 16 / 8 = 6 bytes
• elemSize1 
  矩阵元素一个通道占用的字节数，例如：type是CV_16CS3，那么elemSize1 = 16  / 8 = 2 bytes = elemSize / channels

下面是一个示例程序，具体说明Mat的各个属性：

Mat img(3, 4, CV_16UC4, Scalar_<uchar>(1, 2, 3, 4));
    
    cout << img << endl;

    cout << "dims:" << img.dims << endl;
    cout << "rows:" << img.rows << endl;
    cout << "cols:" << img.cols << endl;
    cout << "channels:" << img.channels() << endl;
    cout << "type:" << img.type() << endl;
    cout << "depth:" << img.depth() << endl;
    cout << "elemSize:" << img.elemSize() << endl;
    cout << "elemSize1:" << img.elemSize1() << endl;

首先创建了一个3*4的具有4个通道的矩阵，其元素类型是CV_16U。Scalar_是一个模板向量，用来初始化矩阵的每个像素，因为矩阵具有4个通道，Scalar_有四个值。其运行结果： 
运行结果首先打印了Mat中的矩阵，接着是Mat的各个属性。注意其type = 26,而depth = 2。这是由于上面所说的各种预定义类型 
例如，CV_16UC4，CV_8U是一些预定义的常量。

step

Mat中的step是一个MStep的一个实例。其声明如下：

struct CV_EXPORTS MStep
    {
        MStep();
        MStep(size_t s);
        const size_t& operator[](int i) const;
        size_t& operator[](int i);
        operator size_t() const;
        MStep& operator = (size_t s);

        size_t* p;
        size_t buf[2];
    protected:
        MStep& operator = (const MStep&);
    };

从其声明中可以看出，MStep和size_t有比较深的关系。用size_t作为参数的构造函数和重载的赋值运算符

MStep(size_t s);
MStep& operator = (size_t s);

向size_t的类型转换以及重载的[ ]运算符返回size_t

const size_t& operator[](int i) const;
        
size_t& operator[](int i);

size_t的数组以及指针 

size_t* p;
        
size_t buf[2];

那么size_t又是什么呢，看代码

typedef  unsigned int   size_t;

size_t就是无符号整数。

再看一下MStep的构造函数，就可以知道其究竟保存的是什么了。

inline Mat::MStep::MStep(size_t s) { p = buf; p[0] = s; p[1] = 0; }

从MStep的定义可以知道，buff是一个size_t[2]，而p是size_t *，也就是可以把MStep看做一个size_t[2]。那么step中保存的这个size_t[2]和Mat中的数据有何种关系呢。

step[0]是矩阵中一行元素的字节数。

step[1]是矩阵中一个元素的自己数，也就是和上面所说的elemSize相等。

上面说到，Mat中一个uchar* data指向矩阵数据的首地址，而现在又知道了每一行和每一个元素的数据大小，就可以快速的访问Mat中的任意元素了。下面公式：

step1

规整化的step，值为step / elemSize1。 定义如下：

inline size_t Mat::step1(int i) const { return step.p[i]/elemSize1(); }

仍以上例代码中定义的img为例，来看下step,step1具体的值： 
img（3*4）的type是CV_16UC4,step[0]是其一行所占的数据字节数4 *4 * 16 / 8  = 32. 
step[1] 是一个元素所占的字节数，img的一个元素具有4个通道，故：4 * 16 / 8 = 2 
step1 = step / elemSize1，elemSize1是元素的每个通道所占的字节数。

N维的step(N > 2)

上面分析step是一个size_t[2]，实际不是很正确，正确的来说step应该是size_t[dims]，dims是Mat的维度，所以对于上面的二维的Mat来说，step是size_t[2]也是正确的。 
下面就对三维的Mat数据布局以及step（维度大于3的就算了吧）。

上图引用自http://ggicci.blog.163.com/blog/static/210364096201261052543349/  搜集资料时发现了这幅图，一切就变的简单了   感谢作者 Ggicci

三维的数据在Mat中是按面来存储的，上图描述的很清晰，这里不再多说。 
上面言道，step是一个size_t[dims]，dims是维度。so，三维的step就是size_t[3]。其余的不多说了，看图就有了。下面来创建一个三维的Mat，实际看看

int dims[3] = { 3, 3, 3 };
    Mat src(3, dims, CV_16SC2, Scalar_<short>(1,2));

    cout << "step[0]:" << src.step[0] << endl;
    cout << "step[1]:" << src.step[1] << endl;
    cout << "step[2]:" << src.step[2] << endl;

首先创建一个3*3*3，depth为CV_16S的两通道的Mat 
step[0]是一个数据面的大小  3 * 3 * (16 / 8 ) * 2 = 36 
step[1]是一行数据的大小 3 * (16 / 8 ) * 2 = 12 
step[2]是一个元素的大小 2 * (16 / 8) = 4 
 
PS: 三维的Mat 不能使用 <<运算符进行输出的。

over

转自：http://www.cnblogs.com/wangguchangqing/p/4016179.html