strtok函数简析

//官方的strtok函数，用来通过分隔字符（不支持字符串，传入的串中每个字符单独当分隔符，如下例子组合的如123会处理1而23会被跳过），返回分隔的串的首地址
//比如调用strtok("abc123def","123456");
//返回值是指向abc的指针
//下次要获得"def"，需要调用strtok(NULL,"123456");函数用了一个类似全局变量的宏_TOKEN（想看实现的可以去查源码）来存储上次解析到的位置

/*
这里的方法比较巧，用一个32的byte数组当做索引表，其中的每一位表示ascii字符表中的255个字符是否存在，
用的是位移的方法，关键就是这句，map[*ctrl >> 3] |= (1 << (*ctrl & 7));
*ctrl >> 3：用字符的前5位来当索引，将255个字符分为32组
1 << (*ctrl & 7)：用后三位的值来当每一组的索引，表明自己是哪一位，比如:后三位是010=2，说明是第二位
|=：最后来个或操作，将那一位置为1
*/
/*
要判断字符是不是存在在索引中也就简单了，
map[*str >> 3] & (1 << (*str & 7))
值为1说明这个字符是存在的
*/

unsigned char map[32]; /* Clear control map */ for(count = 0; count < 32; count++) map[count] = 0; /* Set bits in delimiter table */ do{ map[*ctrl >> 3] |= (1<< (*ctrl & 7)); } while(*ctrl++); /* Initialize str */ /* If string is NULL, set str to the saved * pointer (i.e., continue breaking tokens out of the string * from the last strtok call) */ if(string) str = string; else str = _TOKEN; /* Find beginning of token (skip over leading delimiters). Note that * there is no token iff this loop sets str to point to the terminal * null (*str == '/0') */ while( (map[*str >> 3] & (1<< (*str & 7))) && *str ) str++; string = str; /* Find the end of the token. If it is not the end of the string, * put a null there. */ for( ; *str ; str++ ) if( map[*str >> 3] & (1<< (*str & 7)) ) { *str++ = '/0'; break; } /* Update nextoken (or the corresponding field in the per-thread data * structure */ _TOKEN = str; /* Determine if a token has been found. */ if( string == str ) return NULL; else return string;