OpenCV下的CSV文件读、写

1．CSV文件格式简介

    逗号分隔值（Comma-SeparatedValues，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。

    CSV文件格式的通用标准并不存在，但是在RFC 4180中有基础性的描述。使用的字符编码同样没有被指定，但是7-bitASCII是最基本的通用编码。

    一般情况下，CSV文件格式规则如下：

    1.  开头是不留空，以行为单位。

    2.  可含或不含列名，含列名则居文件第一行。

    3.   一行数据不跨行，无空行。

    4.  以半角逗号（即,）作分隔符，列为空也要表达其存在。

    5.  列内容如存在半角逗号（即,）则用半角双引号（即""）将该字段值包含起来。

    6.  列内容如存在半角引号（即"）则应替换成半角双引号（""）转义，并用半角引号（即""）将该字段值包含起来。

    7.  文件读写时引号，逗号操作规则互逆。

    8.  内码格式不限，可为 ASCII、Unicode 或者其他。

    9.  不支持特殊字符

2. Mat矩阵数据存储到CSV文件中

    博文“C++读写CSV文件”提出了一种CSV文件的读取遍历算法和写入算法，http://www.cnblogs.com/snake-hand/p/3170483.html，并利用C++实现了对CSV文件的读、写操作。

    本文结合OpenCV的CSV风格格式化输出与流缓冲重定向，比较巧妙地实现了“将Mat 矩阵数据存储到CSV文件”功能。

代码如下：

//保存cout流缓冲区指针
	streambuf *coutBuf = cout.rdbuf();
	fstream matData("E:\\Test\\data\\fire_2.csv",ios::out|ios::trunc);
	if(!matData){
		cerr<<"File open or create error!"<<endl;
		exit(1);
	}
	//获取文件fire.csv的流缓冲区指针
	streambuf *fileBuf = matData.rdbuf();
	//设置cout流缓冲区指针为文件的流缓冲区指针
	cout.rdbuf(fileBuf);
	cout<<format(svmMat,"csv");
	matData.flush();
	matData.close();
	//恢复cout原来的流缓冲区指针
	cout.rdbuf(coutBuf);

测试结果：

3．从CSV文件读取数据到Mat 矩阵

    以下代码为我自己写的read_csv函数，实现了从CSV文件读取数据到Mat矩阵中的功能。

/**
*函数功能：将csv文件数据提取到Mat类型矩阵中
*输入：filepath 文件路径数组指针；img_size Mat类型数据的Size；img_type Mat类型数据的类型(32FC1)
*返回值：Mat 矩阵
*/
Mat read_csv(const char *filepath, Size img_size, int img_type)
{
	Mat image;
	image.create(img_size,img_type);
	string pixel;

	ifstream file(filepath, ifstream::in);
	if (!file)
		cout << "CSV read fail" << endl;

	int nl= image.rows;  // number of lines   
	int nc= image.cols ; // number of columns   
	int eolElem = image.cols - 1;		//每行最后一个元素的下标
	int elemCount = 0;
	if (image.isContinuous())
	{   
		nc= nc*nl;    // then no padded pixels   
		nl= 1;		  // it is now a 1D array   
	}  
	for (int i = 0; i<nl; i++)
	{
		float* data = (float*)image.ptr<ushort>(i);  
		for (int j = 0; j < nc; j++)
		{  
			if(elemCount == eolElem){
				getline(file,pixel,'\n');				//任意地读入，直到读到delim字符 '\n',delim字符不会被放入buffer中
				data[j] = (float)atof(pixel.c_str());	//将字符串str转换成一个双精度数值并返回结果
				elemCount = 0;							//计数器置零
			}
			else{
				getline(file,pixel,',');				//任意地读入，直到读到delim字符 ','delim字符不会被放入buffer中
				data[j] = (float)atof(pixel.c_str());	//将字符串str转换成一个双精度数值并返回结果
				elemCount++;
			}
		}                  
	}
	return image;
}

测试结果：

注意事项：

    注意每一个记录结束时以’\n’结尾，而非’,’因此需要特别处理。

OpenCV 的实现：

    在我调用read_csv函数时，发现OpenCV已经有实现类似功能的函数：intCvMLData::read_csv(const char* filename)。利用CMake编译OpenCV，点击鼠标右键->转到定义可以方便查看opencv的源代码。（具体方法见以下链接博文）http://blog.csdn.net/solomon1558/article/details/43780533

实现一：

    例程Fisherfaces in OpenCV中的read_csv函数

static void read_csv(const string& filename, vector<Mat>&images, vector<int>& labels, char separator = ';'){
    std::ifstream file(filename.c_str(),ifstream::in);
    if (!file){
        string error_message = "No valid input file was given, please check thegiven filename.";
        CV_Error(CV_StsBadArg, error_message);
    }
    string line, path, classlabel;
    while(getline(file, line)) {
        stringstream liness(line);
        getline(liness, path, separator);
        getline(liness, classlabel);
        if(!path.empty()&& !classlabel.empty()) {
            images.push_back(imread(path, 0));
           labels.push_back(atoi(classlabel.c_str()));
        }
    }
}

实现二：int CvMLData::read_csv(const char* filename)

int CvMLData::read_csv(constchar* filename)
{
    const int M = 1000000;
    const char str_delimiter[3] = { '', delimiter, '\0' };
    FILE* file = 0;
    CvMemStorage* storage;
    CvSeq* seq;
    char *ptr;
    float*el_ptr;
    CvSeqReader reader;
    intcols_count = 0;
    uchar *var_types_ptr = 0;
    clear();
    file = fopen( filename, "rt" );
    if( !file )
        return-1;
    // read the firstline and determine the number of variables
    std::vector<char>_buf(M);
    char* buf =&_buf[0];
    if(!fgets_chomp( buf, M, file ))
    {
        fclose(file);
        return-1;
    }
    ptr = buf;
    while( *ptr== ' ' )
        ptr++;
    for( ; *ptr!= '\0'; )
    {
        if(*ptr== delimiter || *ptr == ' ')
        {
            cols_count++;
            ptr++;
            while(*ptr == ' ' ) ptr++;
        }
        else
            ptr++;
    }
    cols_count++;
    if (cols_count == 0)
    {
        fclose(file);
        return-1;
    }
    // createtemporary memory storage to store the whole database
    el_ptr = newfloat[cols_count];
    storage = cvCreateMemStorage();
    seq = cvCreateSeq( 0, sizeof(*seq), cols_count*sizeof(float), storage );
    var_types = cvCreateMat( 1, cols_count,CV_8U );
    cvZero( var_types );
    var_types_ptr = var_types->data.ptr;
    for(;;)
    {
        char*token = NULL;
        inttype;
        token = strtok(buf, str_delimiter);
        if(!token)
            break;
        for (int i = 0; i < cols_count-1; i++)
        {
            str_to_flt_elem( token, el_ptr[i],type);
            var_types_ptr[i] |= type;
            token = strtok(NULL,str_delimiter);
            if(!token)
            {
                fclose(file);
                delete[] el_ptr;
                return-1;
            }
        }
        str_to_flt_elem( token,el_ptr[cols_count-1], type);
        var_types_ptr[cols_count-1] |= type;
        cvSeqPush( seq, el_ptr );
        if(!fgets_chomp( buf, M, file ) )
            break;
    }
    fclose(file);
    values = cvCreateMat( seq->total,cols_count, CV_32FC1 );
    missing = cvCreateMat( seq->total,cols_count, CV_8U );
    var_idx_mask = cvCreateMat( 1,values->cols, CV_8UC1 );
    cvSet( var_idx_mask, cvRealScalar(1) );
    train_sample_count = seq->total;
 
    cvStartReadSeq( seq, &reader );
    for(int i = 0; i < seq->total; i++ )
    {
        const float* sdata = (float*)reader.ptr;
        float*ddata = values->data.fl + cols_count*i;
        uchar* dm = missing->data.ptr +cols_count*i;
        for( int j = 0; j < cols_count; j++ )
        {
            ddata[j] = sdata[j];
            dm[j] = ( fabs( MISS_VAL - sdata[j]) <= FLT_EPSILON );
        }
        CV_NEXT_SEQ_ELEM( seq->elem_size,reader );
    }
    if (cvNorm( missing, 0, CV_L1 ) <= FLT_EPSILON )
        cvReleaseMat( &missing );
    cvReleaseMemStorage( &storage );
    delete[]el_ptr;
    return 0;
}