strtok是个“失败”的设计

本文探讨了strtok函数在处理字符串分段时的问题,指出其设计上的不足,包括不能同时处理多个对象以及可能导致的段错误。strtok通过内部常驻局部变量记录状态,这破坏了方法间的独立性,不符合C及Linux的哲学。尽管它在时间效率和空间效率上有优势,但使用时需要谨慎。
摘要由CSDN通过智能技术生成

引用请注明出处:http://blog.csdn.net/int64ago/article/details/7416985

话不多说,先来看个例子:

#include  <stdio.h>
#include  <string.h>

void print_tokens(char *line)
{
	static char whitespace[] = " ";
	char *token;

	for(token = strtok(line,whitespace); token != NULL; 
			token = strtok(NULL,whitespace)){
		printf("Next token is %s\n",token);
	}
}

int main(int argc, char *argv[])
{
	char line[] = "we are      friends !! \n";
	//char *line = "we are friends !!";
	int len = strlen(line); 
	print_tokens(line);
	int i;
	for(i = 0; i != len; ++i){
		if(line[i])
设计一个复杂的词法分析器需要考虑多个方面,包括识别的语言类型、支持的语法结构、错误处理等。以下是一个基于正则表达式的词法分析器的简单设计示例,用于识别C语言的关键字、运算符、标识符、常量等基本元素。 1. 定义正则表达式 根据C语言的语法规则,定义关键字、运算符、标识符、常量等元素的正则表达式。例如: 关键字:if|else|while|for|switch|case|break|continue|return 运算符:\+|\-|\*|\/|\%|\=|\==|\!=|\>|\<|\>=|\<=|\&\&|\|\| 标识符:[a-zA-Z_][a-zA-Z0-9_]* 常量:\d+(\.\d+)?|\.\d+ 2. 定义词法分析器 使用C语言编写词法分析器程序,主要包括以下步骤: (1)读取源代码文件,逐个字符进行处理; (2)定义一个Token结构体,用于保存识别出来的单词及其类型; (3)使用正则表达式匹配源代码中的各种元素,将其识别为不同的Token,并存入Token结构体中; (4)如果遇到非法字符或不符合语法规则的单词,进行错误处理,例如输出错误信息或跳过该单词; (5)返回Token结构体,供语法分析器使用。 3. 示例代码 下面是一个简单的示例代码,用于识别C语言中的关键字、运算符、标识符和常量。该代码使用了正则表达式库PCRE来进行匹配。 ```c #include <stdio.h> #include <pcre.h> typedef struct { char* value; // 单词的值 int type; // 单词的类型 } Token; // 定义Token的类型 #define TOKEN_KEYWORD 1 #define TOKEN_OPERATOR 2 #define TOKEN_IDENTIFIER 3 #define TOKEN_CONSTANT 4 // 定义正则表达式 char* regex_keyword = "if|else|while|for|switch|case|break|continue|return"; char* regex_operator = "\\+|\\-|\\*|\\/|\\%|\\=|\\==|\\!=|\\>|\\<|\\>=|\\<=|\\&\\&|\\|\\|"; char* regex_identifier = "[a-zA-Z_][a-zA-Z0-9_]*"; char* regex_constant = "\\d+(\\.\\d+)?|\\.\\d+"; // 识别单词并返回Token Token* parse_token(char* input) { Token* token = (Token*)malloc(sizeof(Token)); pcre* re; const char* error; int erroffset; int ovector[30]; int rc; // 匹配关键字 re = pcre_compile(regex_keyword, 0, &error, &erroffset, NULL); rc = pcre_exec(re, NULL, input, strlen(input), 0, 0, ovector, 30); if (rc >= 0) { token->value = input; token->type = TOKEN_KEYWORD; return token; } // 匹配运算符 re = pcre_compile(regex_operator, 0, &error, &erroffset, NULL); rc = pcre_exec(re, NULL, input, strlen(input), 0, 0, ovector, 30); if (rc >= 0) { token->value = input; token->type = TOKEN_OPERATOR; return token; } // 匹配标识符 re = pcre_compile(regex_identifier, 0, &error, &erroffset, NULL); rc = pcre_exec(re, NULL, input, strlen(input), 0, 0, ovector, 30); if (rc >= 0) { token->value = input; token->type = TOKEN_IDENTIFIER; return token; } // 匹配常量 re = pcre_compile(regex_constant, 0, &error, &erroffset, NULL); rc = pcre_exec(re, NULL, input, strlen(input), 0, 0, ovector, 30); if (rc >= 0) { token->value = input; token->type = TOKEN_CONSTANT; return token; } // 匹配失败,返回NULL free(token); return NULL; } int main() { char* input = "if (a > 0) { b = 1.23; }"; char* pch; Token* token; // 以空格为分隔符,逐个处理单词 pch = strtok(input, " "); while (pch != NULL) { // 识别单词并输出 token = parse_token(pch); if (token != NULL) { printf("%s (%d)\n", token->value, token->type); free(token); } // 继续处理下一个单词 pch = strtok(NULL, " "); } return 0; } ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值