多线程安全strtok函数MStrTok

    在做字符串分析的时候，常常会用到字符串分割技术，一般都会想到使用strtok，但遗憾的是，strtok函数是在多线程概念尚未普及的时候写的，没有考虑多线程会带来使用该函数会带来意外危险的问题。

 

    下面简单分析一下strtok在多线程程序里面使用的可能的危险。

     strtok的内部实现上，使用了一个静态地址指针，指向上一次分析完成以后的字符串的结束的地址。

3. UINT  Thread1(LPVOID pParam)
5. {
7.          char szSrc[128] = "THIS,IS,A,TEST";
9.          char szSeps[32] = ",";
13.          char *pToken = strtok(szSrc, szSeps);
15.         while(pToken != NULL)
17.         {
19.             cout << pToken << endl;
21.             pToken = strtok(NULL, szSeps);
23.         }         
25. }
27.     
29. UINT  Thread2(LPVOID pParam)
31. {
33.          char szSrc[128] = "HELLO WORLD THIS IS STRTOK TEST";
35.          char szSeps[32] = " ";
39.          char *pToken = strtok(szSrc, szSeps);
41.         while(pToken != NULL)
43.         {
45.             cout << pToken << endl;
47.             pToken = strtok(NULL, szSeps);
49.         }         
51. }

     当程序执行的时候，可能Thread1先执行  char *pToken = strtok(szSrc, szSeps);

     这时默认的strtok内部下一个指针地址指向了char szSrc[128] = "THIS,IS,A,TEST";的字符串"IS,A,TEST"

    接下来线程2开始执行， char *pToken = strtok(szSrc, szSeps);

     这时默认的strtok内部下一个指针地址指向了char szSrc[128] = "HELLO WORLD THIS IS STRTOK TEST";的字符

串" WORLD THIS IS STRTOK TEST"

       那么接下来会发生什么奇怪的现象呢？

      Thread1 执行strtok(NULL, ",")由于分析的源串已经指向到了" WORLD THIS IS STRTOK TEST"，所以将不能再分析得到任何以逗号(,)分隔的字串了！线程Thread2由于指向不变，仍然可以分析得到以空格( )分隔的字符串。

 

      这个问题说明了在strtok是一个全局函数，里面使用了一个静态地址指针，这样的话，多线程调用就随时会改变静态指针的指向，程序运行的结果也就未为可知，不是程序本身希望实现的功能。

 

      所以，在多线程程序里面，最好不要使用strtok函数！使用就得冒很大的程序运行结果不正确的风险

 

      这里我写了一个多线程安全的TStrTok函数，可以实现字符串的分隔，基本原理是：将分隔字符填0，然后提取各个字符串。

      下面是源码：

1. #include <afxtempl.h>
2. #include <iostream>
3. using namespace std;
6. /*--------------------------------------------------------------------------
7.   - src (in) :  源串
8.   - sep (in) :  分隔串
9.   - srcLen (in):    源串长度
10.   - sepLen (in):  分隔串长度
11.   - sl     (out):  分析结果集字符串
12. *--------------------------------------------------------------------------*/
14. BOOL MStrTok(const char* src, const char *sep, int srcLen, int sepLen, CStringArray &sa)
15. {
16.     if( (src == NULL) || (sep == NULL) )
17.     {
18.         return FALSE;
19.     }
20.     
21.     int nMinLenSrc = min(strlen(src), srcLen);
22.     int nMinLensep = min(strlen(sep), sepLen);
23.     
24.     char *pNew = new char[nMinLenSrc + 1];
25.     memset(pNew, 0, nMinLenSrc + 1);
26.     memcpy(pNew, src, nMinLenSrc);
27.     
28.     char *p = (char *)sep;
29.     char *q = (char *)pNew;
30.     int i = 0;
31.     int j = 0;
32.     while(*p != 0 && i < nMinLensep)
33.     {
34.         q = pNew;
35.         for(j = 0; j < nMinLenSrc; j++)
36.         {
37.             if(*q == *p)
38.                 *q = 0;
39.             q++;
40.         }
41.         
42.         p++;
43.         i++;
44.     }
45.     
46.     q = pNew;
47.     i = 0;
48.     while(i < nMinLenSrc)
49.     {
50.         if(*q != 0)
51.         {
52.             sa.Add(q);
53.             
54.             i += strlen(q);
55.             q = pNew + i;
56.         }
57.         else
58.         {
59.             i++;
60.             q++;
61.         }
62.     }
63.     
64.     delete []pNew;
65.     
66.     return TRUE;
67. }
69. int main()
70. {
71.     char szTest[] = "THIS IS A   ;    ,,,,, TStrTok,,,   TEST,        OK    ;NOW;;;;;;???";
72.     char szSeps[] = ",; ";
74.     CStringArray sa;
76.     MStrTok(szTest, szSeps, sizeof(szTest), sizeof(szSeps), sa);
78.     cout << endl;
79.     for(int i = 0; i < sa.GetSize(); i++)
80.     {
81.         cout << (LPCTSTR)sa[i] << " ";
82.     }
84.     cout << endl;
85.     getchar();
87.     return 0;
88. }
89. /*
90.   运行结果如下：
91.   
92.   THIS IS A TStrTok TEST OK NOW ???
94.  */

----------------------------------------------------------------------------------------------------------------------------------------

【后记】：

      本文发表以后，很多网友提出了很多很好的意见和建议。我查了一下strtok_r这个多线程的字符串分割

函数，发现在VC下无定义；在Unix下倒是可以用，但是Unix文档有说明，该函数会改写源串，不建议使用。

      另外，我希望一次将所有的字符串都分割出来，而不是一次次的调用，所以，我还是保留我的MStrTok

的定义方式，和原始的strtok是有差别的，使用时请注意。

      MStrTok的输出是VC的CStringArray，如果要用标准C++，可以用vector代替CStringArray，在此不再赘述。

     原来的MStrTok效率可以改进，一次扫描足以得到结果，下面是改进后的MStrTok:

 

1. BOOL MStrTok(const char* src, const char *sep, int srcLen, int sepLen, CStringArray &sa)
2. {
3.     if( (src == NULL) || (sep == NULL) )
4.     {
5.         return FALSE;
6.     }
7.     
8.     int nMinLenSrc = min(strlen(src), srcLen);
9.     int nMinLensep = min(strlen(sep), sepLen);
10.     
11.     char *pNew = new char[nMinLenSrc + 1];
12.     memset(pNew, 0, nMinLenSrc + 1);
13.     memcpy(pNew, src, nMinLenSrc);
14.         
15.     char *p = (char *)pNew;
16.     char c;
18.     int i = 0, n = 0;
19.     char *pStr = NULL;
20.     while(*p != 0 && n < nMinLenSrc)
21.     {           
22.         c = *sep;
23.         for(i = 0; (i < nMinLensep) && (c != 0); i++)
24.         {
25.             c = *(sep + i);
26.             if(c == *p)
27.             {
28.                 *p = 0;
29.             }
30.         }   
31.         
32.         if(*p == 0)
33.         {
34.             if(pStr != NULL)
35.             {
36.                 sa.Add(pStr);
37.                 pStr = NULL;
38.             }
39.         }
40.         else 
41.         {
42.             if (pStr == NULL) 
43.             {
44.                 pStr = p;               
45.             }           
46.         }
47.         
48.         p++;
49.         n++;
50.     }
52.     if(pStr != NULL)
53.     {
54.         sa.Add(pStr);
55.     }
56.     
57.     delete []pNew;  
59.     return TRUE;
60. }