[原创]关键词搜索算法改进——顺序表字典二分法逐级检索

本文关键词：关键词搜索, 顺序表字典, 二分法, 逐级检索

问题重述：有一个内含有大约40万条常用词汇的词库。现给定一篇文章，使用这个词库分析出常用词汇的出现次数，并按出现次数由高到低排序这些词语。

改进算法的思路：
  1. 通常一篇文章所包含的词语远少于词库中40万的数量；
  2. 数据库建立索引之后，可采用“二分法”对词语进行快速定位；
  3. 逐字缩小查询范围，如果查询到某个字符时范围已经为0，那么可以预测其后的词一定也不存在，（例如查询到forest时已经没有匹配的词了，就可以到此结束）。

该算法将时间复杂度由 O(m*n) 减少为 O( log2(m) * n ) （m为字典词汇数量，n为待搜索文本的长度）。测试结果表明：344KB 文本搜索耗时1.39s，而采用遍历法则需105s，可见速度的提升是很可观的。
以下是算法的实现：

一、首先，利用文本文件制作词典（二进制文件）。包括导入字符串数据、排序、剔除重复项、创建索引表。

字典文件格式描述如下：

  1. 文件头（16字节）：
---------------------------------------------------------------------------
| "MAODICT"字符串(8字节) | 索引区开始位置(4字节) | 索引区结束位置(4字节) |
---------------------------------------------------------------------------

  2. 字符串存储区：

     每条字符串均以'/0'结尾，连续存放。

  3. 索引区：

     每个索引表项格式（5字节）：
---------------------------------------------------
| 字符串偏移量（4字节） | 词条长度（1字节） |
---------------------------------------------------

字符串紧跟文件头存放，索引区在字符串存储区之后。

文件头和索引表项结构体：

[cpp] view plain copy print ?

1. // Dictionary file header 
2. typedef struct _DictHeader 
3. { 
4.     char maodict[8]; // string "MAODICT" 
5.     long so;  // index start offset 
6.     long eo;  // index end offset 
7. } DictHeader; 
8.  
9. // Index item structure(5 bytes) 
10. typedef struct _IndexItem 
11. { 
12.     union 
13.     { 
14.         long offset;  // string offset 
15.         char * str;   // string pointer(unused) 
16.     }; 
17.     char length;  // string length 
18. } IndexItem; 

数据导入代码暂略，详见附件msearch.cpp中的textToBinaryFile()函数。

二、利用创建的字典文件，编写检索程序。SearchTextFile()函数利用传入的文件名打开并进行“内存文件映射”，利用传入的数据流读取文本数据。从某个位置起始，向后组成“词语”进行查询，到一定长度“失配”后，起始位置移到下一个字符。由于数据流不能回退，故需缓存已读取的字符，每次“失配”后将缓冲区向前整体移动一个字符位置（memmove()）。算法利用了两个变量：j 用于记录当前字符相对于起始位置的偏移，k 用于记录缓冲区中已读取的字符的数量。

该部分代码如下：

[cpp] view plain copy print ?

1. j = 0;  // word char index 
2. k = 0;  // number of buffered chars 
3.  
4. do 
5. { 
6.     j = 0;  // return zero 
7.  
8.     si = 0; 
9.     li = rcCount-1; 
10.     for(j=0; ; j++) 
11.     { 
12.         while(k<=j) 
13.             cbuf[k++] = fgetc(fp); 
14.         if(cbuf[j]==EOF) 
15.             break; 
16.  
17.         ret = getCharIndex(dbuf, idx, cbuf[j], j, &si, &li); 
18.  
19.         //====================================== 
20.         // if this is a complete word, add it 
21.         if(ret && j==idx[si].length-1) 
22.         { 
23.             ...添加到查询结果列表，代码省略... 
24.         } 
25.         //====================================== 
26.         if(!ret) 
27.             break; 
28.         else 
29.         { 
30.             if(li-si==0) 
31.                 if(j==idx[si].length-1) 
32.                     break; 
33.         } 
34.  
35.     } 
36.     // move buffer one step foward (overlapped spaces!!!) 
37.     if(k>1) 
38.         memmove(cbuf, cbuf+1, (k-1)*sizeof(cbuf[0])); 
39.     //printf("%d/n", k); 
40.     k --; 
41. } while(cbuf[0]!=EOF); 

三、二分法逐字检索 是查询程序的核心算法，代码如下：

[cpp] view plain copy print ?

1. /*
2. * dbuf: data area pointer
3. * idx:  index area pointer
4. * ch:   current character
5. * j:    current character's position in word
6. * _si, _li: previous range
7. * return: 1 - fonnd; 0 - not found
8. */ 
9. static inlineint getCharIndex( constchar      * dbuf, 
10.                                 const IndexItem * idx,  
11.                                 int ch,  
12.                                 int j,int * _si, int * _li) 
13. { 
14.     int si = *_si; 
15.     int li = *_li; 
16.     int mi; 
17.     int ssi, lli, mmi; 
18.  
19. #define GETCH(x) ( (unsigned char)*(dbuf + idx[x].offset + j) ) 
20.  
21.     if(ch < GETCH(si)) 
22.     { 
23.         // above the upper border [not found - case 1] 
24.         *_si = *_li = si; 
25.         return 0; 
26.  
27.     } 
28.     else if(ch == GETCH(si)) 
29.     { 
30.         // start position 
31.         *_si = si; 
32.         if(ch == GETCH(li)) 
33.         { 
34.             // li is just the end 
35.             *_li = li; 
36.             return 1; 
37.         } 
38.         else 
39.         { 
40.             /* ch < GETCH(li) */ 
41.             // using binary search, find the end 
42.             ssi = si; 
43.             lli = li; 
44.             while(lli-ssi>1) 
45.             { 
46.                 mmi = (ssi + lli) / 2; 
47.                 if(ch < GETCH(mmi)) 
48.                     lli = mmi; 
49.                 else 
50.                     ssi = mmi; 
51.             } 
52.             *_li = ssi; 
53.             return 1; 
54.         } 
55.  
56.     } 
57.     else 
58.     { 
59.         /* ch > GETCH(si) */ 
60.  
61.         if(ch > GETCH(li)) 
62.         { 
63.             // below the lower border [not found - case 2] 
64.             *_si = *_li = li+1; 
65.             return 0; 
66.         } 
67.         else if(ch == GETCH(li)) 
68.         { 
69.             *_li = li; 
70.             // using binary search, find the start 
71.             ssi = si; 
72.             lli = li; 
73.             while(lli-ssi>1) 
74.             { 
75.                 mmi = (ssi + lli) / 2; 
76.                 if(ch <= GETCH(mmi)) 
77.                     lli = mmi; 
78.                 else 
79.                     ssi = mmi; 
80.             } 
81.             *_si = lli; 
82.             return 1; 
83.         } 
84.         else 
85.         { 
86.             /* ch < GETCH(li) */ 
87.             // the most common case 
88.             while(li-si>1) 
89.             { 
90.                 mi = (si + li) / 2; 
91.                 if(ch < GETCH(mi)) 
92.                     li = mi; 
93.                 else if(ch > GETCH(mi)) 
94.                     si = mi; 
95.                 else 
96.                 { 
97.                     /* == found */ 
98.  
99.                     // search the upper border 
100.                     ssi = si; 
101.                     lli = mi; 
102.                     while(lli-ssi>1) 
103.                     { 
104.                         mmi = (ssi + lli) / 2; 
105.                         if(ch <= GETCH(mmi)) 
106.                             lli = mmi; 
107.                         else 
108.                             ssi = mmi; 
109.                     } 
110.                     *_si = lli; 
111.  
112.                     // search the lower border 
113.                     ssi = mi; 
114.                     lli = li; 
115.                     while(lli-ssi>1) 
116.                     { 
117.                         mmi = (ssi + lli) / 2; 
118.                         if(ch < GETCH(mmi)) 
119.                             lli = mmi; 
120.                         else 
121.                             ssi = mmi; 
122.                     } 
123.                     *_li = ssi; 
124.  
125.                     return 1; 
126.  
127.                 } 
128.             } 
129.             // not included [not found - case 3] 
130.             *_si = *_li = li; 
131.             return 0; 
132.  
133.         } 
134.  
135.     } 
136.  
137. } 

四、程序的执行效果：

  1. 使用方法：

[vb] view plain copy print ?

1. J:/Projects/cpp/msearch/Release>msearch -h 
2. Usage: 
3.   msearch -c <source file>  .... Convert text file to dictionary. 
4.   msearch <dict file>       .... Input text to search, ended with [Ctrl+Z]. 
5.   msearch -h                .... Print help information. 
6. Examples: 
7.   msearch -c English.txt    .... Create English.dat. 
8.   msearch English.dat <gpl3.txt >result.txt 
9.              .... Search keywords in gpl3.txt and write results to result.txt, 
10.                   using dictionary English.dat 

  2. 运行结果：

[vb] view plain copy print ?

1. J:/Projects/cpp/msearch/Release>msearch English.dat 
2.   The licenses for most software and other practical works are designed 
3. to take away your freedom to share and change the works. 
4. ^Z 
5. Processed in 0.012s. 
6. Totally allocated memory: 35.06KB 
7. re -- 4 
8. or -- 3 
9. are -- 3 
10. an -- 3 
11. he -- 3 
12. and -- 2 
13. works -- 2 
14. work -- 2 
15. the -- 2 
16. to -- 2 
17. ha -- 2 
18. freed -- 1 
19. freedom -- 1 
20. free -- 1 
21. hang -- 1 
22. hare -- 1 
23. for -- 1 
24. her -- 1 
25. do -- 1 
26. ice -- 1 
27. lice -- 1 
28. license -- 1 
29. licenses -- 1 
30. designed -- 1 
31. of -- 1 
32. design -- 1 
33. other -- 1 
34. our -- 1 
35. practical -- 1 
36. change -- 1 
37. reed -- 1 
38. share -- 1 
39. sig -- 1 
40. sign -- 1 
41. signed -- 1 
42. so -- 1 
43. soft -- 1 
44. software -- 1 
45. take -- 1 
46. cense -- 1 
47. tic -- 1 
48. tical -- 1 
49. away -- 1 
50. war -- 1 
51. ware -- 1 
52. way -- 1 
53. act -- 1 
54. most -- 1 
55. you -- 1 
56. your -- 1 

==========================================================
完整的程序和源代码请到这里下载：http://down.chinaz.com/soft/24828.htm
==========================================================

分享到：

• 上一篇：Win2003 + IIS6.0 + PHP5 / ASP + MySQL5 服务器配置及虚拟主机基本安全设置
• 下一篇：[原创]CS8900A 网卡芯片驱动，Linux-2.6.27内核，SMDK2410平台