strtok()函数

原创 2015年07月07日 15:49:39

strtok()这个函数大家都应该碰到过,但好像总有些问题这里着重讲下它

首先看下MSDN上的解释:

char *strtok( char *strToken, const char *strDelimit );

简单的说,就是函数返回第一个分隔符分隔的子串后,将第一参数设置为NULL,函数将返回剩下的子串。

下面我们来看一个例子:

int main() 

{

      char test1[] = "feng,ke,wei";     //字符串数组

      char *test2 = "feng,ke,wei";     //字符串指针

      char *p;  

      p = strtok(test1, ",");

      while(p)  

          {   

              printf("%s\n", p);   

              p = strtok(NULL, ",");     

          }      

      return 0;

 }

运行结果:

feng

ke

wei

说明:

函数strtok将字符串分解为一系列标记(token),标记就是一系列用分隔符(delimiting chracter,通常是空格或标点符号)分开的字符。注意,此的标记是由delim分割符分割的字符串喔。

例如,在一行文本中,每个单词可以作为标记,空格是分隔符。
需要多次调用strtok才能将字符串分解为标记(假设字符串中包含多个标记)第一次调用strtok包含两个参数,即要标记化的字符串和包含用来分隔标记的字符的字符串(即分隔符)下列语句: tokenPtr = strtok(string, " ")
tokenPtr赋给string中第一个标记的指针strtok的第二个参数””表示string中的标记用空格分开
函数strtok搜索string中不是分隔符(空格)的第一个字符,这是第一个标记的开头。然后函数寻找字符串中的下一个分隔符,将其换成null( w)字符,这是当前标记的终点。注意标记的开始与结束

函数strtok保存string中标记后面的下一个字符的指针,并返回当前标记的指针。


后面再调用strtok时,第一个参数为NULL,继续将string标记化。NULL参数表示调用strtok继续从string中上次调用 strtok时保存的位置开始标记化。

如果调用strtok时已经没有标记,则strtok返回NULL注意strtok修改输入字符串,因此,如果调用strtok之后还要在程序中使用这个字符串,则应复制这个字 符串。

但如果用p = strtok(test2, ",")则会出现内存错误,这是为什么呢?是不是跟它里面那个静态变量有关呢我们来看看它的原码:

/***

*strtok.c - tokenize a string with given delimiters

*

*       Copyright (c) Microsoft Corporation. All rights reserved.

*

*Purpose:

*       defines strtok() - breaks string into series of token

*       via repeated calls.

*

*******************************************************************************/

#include

#include

#ifdef _MT

#include

#endif  /* _MT */

/***

*char *strtok(string, control) - tokenize string with delimiter in control

*

*Purpose:

*       strtok considers the string to consist of a sequence of zero or more

*       text tokens separated by spans of one or more control chars. the first

*       call, with string specified, returns a pointer to the first char of the

*       first token, and will write a null char into string immediately

*       following the returned token. subsequent calls with zero for the first

*       argument (string) will work thru the string until no tokens remain. the

*       control string may be different from call to call. when no tokens remain

*       in string a NULL pointer is returned. remember the control chars with a

*       bit map, one bit per ascii char. the null char is always a control char.

*       //这里已经说得很详细了!!MSDN都好!

*Entry:

*       char *string - string to tokenize, or NULL to get next token

*       char *control - string of characters to use as delimiters

*

*Exit:

*       returns pointer to first token in string, or if string

*       was NULL, to next token

*       returns NULL when no more tokens remain.

*

*Uses:

*

*Exceptions:

*

*******************************************************************************/

char * __cdecl strtok (

        char * string,

        const char * control

        )

{

        unsigned char *str;

        const unsigned char *ctrl = control;

        unsigned char map[32];

        int count;

#ifdef _MT

        _ptiddata ptd = _getptd();

#else  /* _MT */

        static char *nextoken;                        //保存剩余子串的静态变量   

#endif  /* _MT */

        /* Clear control map */

        for (count = 0; count < 32; count++)

                map[count] = 0;

        /* Set bits in delimiter table */

        do {

                map[*ctrl >> 3] |= (1 << (*ctrl & 7));

        } while (*ctrl++);

        /* Initialize str. If string is NULL, set str to the saved

         * pointer (i.e., continue breaking tokens out of the string

         * from the last strtok call) */

        if (string)

                str = string;                             //第一次调用函数所用到的原串       

else

#ifdef _MT

                str = ptd->_token;

#else  /* _MT */

                str = nextoken;                      //将函数第一参数设置为NULL时调用的余串

#endif  /* _MT */

  /* Find beginning of token (skip over leading delimiters). Note that
         * there is no token iff this loop sets str to point to the terminal
         * null (*str == '\0') */
        while ( (map[*str >> 3] & (1 << (*str & 7))) && *str )
                str++;
        string = str;                                  //此时的string返回余串的执行结果 
        /* Find the end of the token. If it is not the end of the string,
         * put a null there. */
//这里就是处理的核心了, 找到分隔符,并将其设置为'\0',当然'\0'也将保存在返回的串中
        for ( ; *str ; str++ )
                if ( map[*str >> 3] & (1 << (*str & 7)) ) {
                        *str++ = '\0';              //这里就相当于修改了串的内容
                        break;
                }
        /* Update nextoken (or the corresponding field in the per-thread data
         * structure */
#ifdef _MT
        ptd->_token = str;
#else  /* _MT */
        nextoken = str;                 //将余串保存在静态变量中,以便下次调用
#endif  /* _MT */
        /* Determine if a token has been found. */
        if ( string == str )
              return NULL;
        else
                return string;
}

原来该函数修改了原串

所以,当使用char *test2 = "feng,ke,wei"作为第一个参数传入时,在位置由于test2指向的内容保存在文字常量区,该区的内容是不能修改的,所以会出现内存错误.char test1[] = "feng,ke,wei" 中的test1指向的内容是保存在栈区的,所以可以修改.

看到这里  大家应该会对文字常量区有个更加理性的认识吧.....

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

strtok函数

strtok目录 原型 功能 说明 返回值 strtok函数在C和C++语言中的使用c c++ 其他相关信息原型 功能 说明 返回值 strtok函数在C和C++语言...

hdoj1106 ( strtok函数 )

strtok 原型: char *strtok(char s[], const char *delim); 功能: 分解字符串为一组字符串。s为要分解的字符串,delim为分隔符字符串。 ...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

strtok函数

原文http://baike.baidu.com/view/1028553.htm#5 原型   char *strtok(char *s, const char *delim); ...

strtok函数

函数原型:extern char *strtok(char *string, char *seps) 参数说明:string为源字符串,seps为指定的分隔符,是一个分隔字符串的集合. 贴换为'\0...

strtok()函数

strtok()这个函数大家都应该碰到过,但好像总有些问题, 这里着重讲下它 首先看下MSDN上的解释: char *strtok( char *strToken, const char *strDe...

strtok函数

函数原型char * strtok ( char * str, const char * delimiters ); 功能多次调用这个函数将str以delimiters分割点分割成连续的字符串 特点第...

strtok函数和strtok_r函数

strtok函数和strtok_r函数 网络上一个比较经典的例子是将字符串切分,存入结构体中。如,现有结构体 typedef struct person{ char name[25]; char...

STRTOK函数和STRTOK_R函数

1.一个应用实例 网络上一个比较经典的例子是将字符串切分,存入结构体中。如,现有结构体 typedef struct person{      char name[25];      char...

strtok函数的简单应用 hdu 1106

排序 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Total S...

strtok函数详解

下面是strtok的源码:
  • leocp
  • leocp
  • 2014-04-18 17:14
  • 614
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)