【Programming Pearls】对文档中的单词进行计数问题

最新推荐文章于 2021-03-10 19:22:28 发布

xiaoding133

最新推荐文章于 2021-03-10 19:22:28 发布

阅读量1.3k

点赞数 1

分类专栏：数据结构与算法

本文链接：https://blog.csdn.net/xiaoding133/article/details/8858025

版权

数据结构与算法专栏收录该内容

33 篇文章 0 订阅

订阅专栏

所谓单词就是用空格分隔开的字符序列。但是在网页文件中还包含 <html>等词，所以需要避免这种情况。

示例 1：
int main(void)
{ set S;
set::iterator j;
string t;
while (cin >>t) //读取输入，插入到set集合S中，重复的单词忽略
S.insert(t);
for (j = S.begin();j != S.end(); ++j)
cout << *j<< "\n"; //按顺序输出单词
return 0;
}

下面我们将统计一个文档中各个单词出现的频率。

可以采用C++中的STL map容器来实现：

示例2：
#include <iostream>
#include <map>
#include <string>
using namespace std;
int main()
{ map<string, int> M;
map<string, int>::iterator j;
string t;
while (cin >> t)
M[t]++;
for (j = M.begin(); j != M.end(); ++j)
cout << j->first << " " << j->second << "\n";
return 0;
}

注：上面程序总共需要7.6秒处理Bible文档，其中读取需要2.4秒，插入需要4.9秒，写入输出为0.3秒。

为了减少处理时间，我们采用哈希表的方式，采用一个节点，该节点包含一个指针指向该单词，一个变量对单词进行计数，以及一个指针指向下一个节点。

哈希表的结构如下：

typedef struct node*nodeptr;
typedef struct node{
char *word;
int count;
nodeptr next;
} node;
#define NHASH 29989 //定义单词的最大数
#define MULT 31   //哈希的乘数
nodeptr bin[NHASH];//定义哈希表

接下来将一个单词或字符串映射到一个无符号的整数，该整数小于NHASH。

unsigned inthash(char *p)
unsigned int h = 0；//这里使用unsignedint是为了保证为正数
for ( ; *p; p++)
h = MULT * h + *p
return h % NHASH

然后在主函数中，对哈希的每个bin进行赋初值，为NULL。然后读取单词，插入到哈希表中，无序插入。

int main(void)
{for i = [0, NHASH)
bin[i] = NULL
while scanf("%s", buf) != EOF
incword(buf)
for i = [0, NHASH)
for (p = bin[i]; p!= NULL; p = p->next)
print p->word,p->count
return 0
}；

插入函数incword如下：

void incword(char*s)
h = hash(s)
for (p = bin[h]; p!= NULL; p = p->next)
if strcmp(s,p->word) == 0
(p->count)++
return
p =malloc(sizeof(hashnode))
p->count = 1
p->word =malloc(strlen(s)+1)
strcpy(p->word,s)
p->next = bin[h]
bin[h] = p

注：使用哈希表的方法需要2.4s的读，0.5s的插入时间，0.06s的写入输出时间。总共需要3s的时间。该方法比C++的STL方法快了一个数量等级。但是使用sets和maps总能保证插入的单词是有序的，使用hash table则不能保证。Hash table的平均速度非常快，但是对最坏情况不能保证是一颗平衡树，不支持对单词的有序操作。

xiaoding133

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【Programming Pearls】对文档中的单词进行计数问题

所谓单词就是用空格分隔开的字符序列。但是在网页文件中还包含 等词，所以需要避免这种情况。示例 1：int main(void){ set S;set::iterator j;string t;while (cin >>t) //读取输入，插入到set集合S中，重复的单词忽略S.insert(t);for (j = S.begin();j != S.e
复制链接

扫一扫

专栏目录