浅谈C语言的字符串拆分

字符串拆分应用在很多方面，尤其是针对格式化数据的处理，可是不同程序语言对于字符串拆分却有着很大的区别（易用性，效率等方面考虑）。

对于格式化数据的处理首先想到的利器就是awk了，它尤其胜任文本的处理，逐行读取文本文件，按照指定的分隔符处理拆分的字符串，它还能为文本处理加入控制运算逻辑，功能强大到已经是一门复杂的编程语言了。

还有就是以强大的正则匹配为基础的perl，对于字符串处理也是很强大。可是对C语言来说字符串拆分还是不那么自然，至少“纯洁”的C99标准没有定义一个好用的字符串拆分函数。

<?php
    $str = "APPLE:BANANA:PEAR:WATERMELON";
    $res = split(":",$str);
    var_dump($res);
?>
vm6245:~/penjin # php split.php
array(4) {
  [0]=>
  string(5) "APPLE"
  [1]=>
  string(6) "BANANA"
  [2]=>
  string(4) "PEAR"
  [3]=>
  string(10) "WATERMELON"
}

比如上面的php代码很轻松的就可以按照指定字符拆分字符串，在C语言中我们也是很容易就能办到，使用strtok函数即可。

#include<stdio.h>
#include<string.h>

int main(int argc,char *argv[]){

	char str[100] = "APPLE:BANANA:PEAR:WATERMELON";
	char *p = strtok(str,":");
	while (p != NULL) {
		printf("%s\n", p);
		p = strtok(NULL,":");
	}
	return 0;
}

可是问题不是这么简单的，如果我们的分隔符是多个字符（比如单词），strtok就无能为力了。

比如"APPLEandBANANAandPEARandWATERMELON"字符窜按照“and”拆分，php使用split函数即可做到，C语言怎么办呢，我想很多C的第三方库（如boost）应该封装了相应的函数，但是我还是不喜欢有依赖性的东西。

我想到能不能尝试用Ragel来做字符串拆分，ragel是一个结合正则表达式和状态机的词法分析器，支持C, C++, Objective-C, D, Java and Ruby等宿主语言，将词法分析的结果嵌入它们的程序中。ragel的强大之处不止是支持正则的解析，还在于它生成代码的高效（听说ragel做的atoi函数比C原生的字符串转数字更加高效）

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <iostream>
#include <string>

using namespace std;

%%{
 
  machine split_parser;
  
  action word_start {
	word = "";
  }
  
  action word_append {
	word += fc;
  }
  
  action word_finish {
    printf("%s\n",word.c_str());	//输出拆分字符串
  }
  
  split="and";						
  word= ( /[a-zA-Z_0-9]*/ %word_finish -- split ) >word_start $word_append;

  main:=word (split word)* '\0';
}%%
 
%%write data;

void my_strtok(char *str) {
  string word = "";

  char *p = str;
  char *pe = p+ strlen(p);
  int cs;
  %%write init;
  %%write exec;
  
  printf("%s\n",word.c_str());		//输出最后一个拆分字符串
}

int main(int argc, char **argv) {
  char *str = "APPLEandBANANAandPEARandWATERMELON";
  
  my_strtok(str);
  
  return 0;
}

然后用Ragel解析上面的代码就得到字符串拆分结果了，对于Ragel的使用更多的介绍可以参照http://blog.dccmx.com/2011/01/ragel-intro-1/博客中的内容。

不过strtok函数可以指定多个分隔符实现字符串拆分，所以不同的场合给我们多一种选择，或许strtok还是简单一点。

#include<stdio.h>
#include<string.h>

int main(int argc,char *argv[]){

	char str[100] = "APPLE:BANANA;PEAR.WATERMELON";
	char *p = strtok(str,":;.");
	while (p != NULL) {
		printf("%s\n", p);
		p = strtok(NULL,":;.");
	}
	return 0;
}