c语言写入csv 逗号字符串,[转]C语言处理CSV文件的方法，以及kdd cup的简单说明...

C语言处理CSV文件的方法

什么是CSV文件

CSV是 Comma-separated values

(逗号分隔值)的首字母缩写，它通常是以逗号且不仅限于逗号分隔各个值，我们都叫他CSV。看下面的例子：

China, Shanghai, Pudong,

Zhang San, 200000, 1234567

BMW; GER; 300000; RMB;

i530

从上面两个例子可以看出，可以用不同的分隔符来分隔数据；数据的类型可以不同；长度任意。

由多行这样的CSV组成的文件叫做CSV文件(逗号分隔值文件)。当然，他们必须用同样的分隔符，对应每一列的数据要有相同的含义，不然这个文件就是无意义的。CSV文件可以直接用Microsoft

Office中的Excel打开，这里不讨论Windows下的操作。

C语言编程处理CSV文件

通常CSV文件中包含大量有用信息，而且有时数据量庞大，一个数据文件会达到1G的大小，一般都是日志等重要信息。对CSV文件的处理也有很多方法，常见的就是用Bash,

Python, Perl

等脚本语言来处理。这里提供一种用C语言处理CSV文件的方法。以下过程都是在Linux环境下进行的，Windows用户请注意移植。

C语言标准库中有一个字符串(string.h)函数 strtok ,它的原型是

char *strtok( char *s,

const char *ct );

它以 ct 中的字符为分界符，将字符串 s 分成许多记号。第一次调用时，它搜索 s ，找到不包含ct的第一个记号，将 s

中的下一个字符替换为 ‘/0’ ，并返回指向记号的指针。随后调用 strtok 函数时(由 s 的值是否为NULL指示)，返回下一个不包含 ct

中字符的记号。当 s 中没有这样的记号时，返回NULL 。每次调用时的 ct 可以不同。

注意红色标记的部分，这个函数的使用方法是(假设以逗号为分隔符)：

char str[] = “Life is

like, a box of chocolate, you never, know what you’re, gonna

get”;

char delims[] = “,”;

char *result = NULL;

result = strtok( str, delims );

while( result != NULL ) {

printf( “%s /n”, result );

result = strtok( NULL, delims

);

}

OUTPUT:

life is like

a box of chocolate

you never

know what you’re

gonna get

这里只是单纯的把CSV分解成独立的可供后续处理的字符串，下面介绍一个复杂些的例子。

KDD CUP 99 DATASET

Preprocessing KDDCUP99数据集的预处理

关于KDD CUP 99数据集的介绍请看这里。

KDD CUP

99数据集是网络入侵检测(NIDS)的标准测试集，为IDS研究人员提供训练数据集和测试数据集，以期比较不同入侵检测方法的优劣。尽管该数据集是1998年建立的，但仍是现在研究最多的IDS数据集。

该数据集每一行就是由tcpdump采集并处理的一条记录，包含了41个特征值和1个攻击类型说明，每一个特征之间用逗号分隔，最后用逗号分隔攻击类型。训练集的一个1/10子集共有

494,021 条记录，是一个标准CSV文件。下面是其中3条记录：

0,icmp,ecr_i,SF,1032,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,511,511,0.00,0.00,/

0.00,0.00,1.00,0.00,0.00,255,255,1.00,0.00,1.00,0.00,0.00,0.00,0.00,0.00,smurf

0,tcp,http,SF,287,41018,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,15,32,0.00,0.00,/

0.07,0.03,1.00,0.00,0.16,61,255,1.00,0.00,0.02,0.01,0.00,0.00,0.02,0.00,normal

0,icmp,eco_i,SF,18,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,/

0.00,1.00,0.00,0.00,3,15,1.00,0.00,1.00,0.27,0.00,0.00,0.00,0.00,ipsweep

由于数据的类型比较复杂，有离散类型(比如协议类型tcp,

upd…)和连续类型(持续时间，发送包数量等)，要分开处理。预处理过程分两步：1. 映射。将符号型的数据(symbolic-valued attribute)映射到数值型数据(numeric-valued

attribute)。2. 归一化。将所有数据都调整到 ［0.0 , 1.0］区间内。

由于strtok只能处理字符串类型数据，需要用 atoi , atol, atof

字符串转换函数来将字符串转换为数字，方便归一化处理。

….

while ( fgets( line,

length, fp ) != NULL ) { //read

a single line of dataset

result = strtok(line,

“,”); //read

the first attribute

for ( i = 0; i < 42; i++ )

{

switch (i) { //mapping and scaling the 41 attributs + 1 class respectively

case

0: //duration, continuous, [0, 58329]

printf(“%.2f,”, float(atoi(result))/DURATION);

break;

case

1: //protocal_type, symbolic, 3

printf(“%.2f,”, protocal_type(result));

break;

…

} //switch end

} //for end

result = strtok(NULL,

“,”); //continue reading next attribute

} //while end

每次读入一行数据文件，用strtok分隔出每个特征，再用switch判断是哪一个特征，然后对相应特征进行归一化处理。

总结

C语言对处理这种纯粹文本的数据不太擅长，虽然运行速度没的说，但编起来确实比较麻烦。建议还是用脚本语言配合正则表达式来做这种数据处理。

我程序中使用switch来判断特征值类型，由于一共有41个特征，所以比较麻烦，如果有简单的匹配方法，敬请E-mail我。

参考文献

1. http://www.elook.org/programming/c/strtok.html

2. The C Programming Language. 2nd Edition by

K&R

3. KDDCUP99

http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html