字典树实现词频统计

最新推荐文章于 2021-06-08 10:47:54 发布
最新推荐文章于 2021-06-08 10:47:54 发布
阅读量2.1k 收藏 22
点赞数 3
文章标签： 数据结构 字符串
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wfadwa/article/details/108201241
版权
这篇博客介绍了如何利用字典树（Trie树）实现词频统计，包括读取文件中的单词、插入字典树、打印树结构、查询单词频率以及销毁字典树的功能。提供了完整的C++代码实现。
摘要由CSDN通过智能技术生成

字典树实现词频统计

Trie树（字典树）
字典树又叫前缀树，是处理字符串常用的数据结构，最近和朋友一起粗略写了一下关于字典树的词频统计。

一、功能介绍

  1. 文件流读写单词；
  2. 将读到的单词插入树中；
  3. 打印树，打印出单词和个数以及词频；
  4. 单个单词的个数和频率查询功能；
  5. 销毁字典树(释放内存)；

结构体代码

typedef struct TrieNode { 

unsigned long count; //该结点终结的单词个数
struct TrieNode* next[26];  //下标 0-25 分别表示 a-z

}TrieNode;

从文本中获取单词

void GetWord(FILE* fp, int lim, char word[]) {
char* w = word;
int c;
while (isspace(c = getc(fp)) || (c == ‘-’))//跳过空格和破折
;
if (c != EOF)
*word = tolower（c）;//这里tolower是为了将大写字母转为小写字母 小写字母不变
if (!isalpha（c）) { //单词第一个不是字母，退出
*word = ‘\0’;
return;
}
for (; --lim > 0; word++) {
*word = tolower（c）;
if (!isalpha(c = getc(fp)))//不是字母，退出
break;
}
*++word = ‘\0’;
word = w;
}

打印字典树

void TreePrint(TrieNode* root, FILE* fp, char* str, int j) {
for (int i = 0; i

最低0.47元/天 解锁文章
山山峏川-
关注
Trie树（字典树）实现词频统计或前缀匹配类型的问题
Sup_Heaven的专栏
10-15 9520
一：概念      如果我们有and,as,at,cn,com这些关键词，那么trie树（zidianshu）？ 从上面的图中，我们或多或少的可以发现一些好玩的特性。       第一：根节点不包含字符，除根节点外的每一个子节点都包含一个字符。       第二：从根节点到某一节点，路径上经过的字符连接起来，就是该节点对应的字符串。       第三：每个单词
词频统计:字典树+dfs
YoungForYou的专栏
08-19 656
给出n行单词,统计出每个单词出现了几次: #include #include #include using namespace std; struct Tire { int count; struct Tire *tire[26]; }*a; string res = ""; void init() { a = new Tire; for(int i = 0
字典树应用——词频统计 （C++实现）
Emily_cyy的专栏
10-05 5736
有幸能够来邮电交流学习一年 真的h
C++基于字典树的文章词频统计
qq_34512507的博客
03-07 1103
算法原理： 1.将文章中的大写改为小写 2.遍历字符串得到字典树 3.从字典树中遍历得到单词个数 利用这种结构可以得到各单词个数，且复杂度为O(n),对于大型数据处理有很好的效果 运行结果： 代码： #include <iostream> #include <string> typedef struct word_node { char s; word_node *nextChar[26]; int count; }word_node,*word_tr
输入法模拟程序（字典树词频统计）
12-18
功能： 通过字典树等算法模拟了一个输入法频率提示工具。 原理： 没记错的话是用的字典树频率的统计方式做的。
字典树实现词频统计及频率字典序双重融合排序算法
Later_meng_huan的博客
06-06 4063
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
用Trie树实现词频统计和单词查询
10-07
一个简单的C语言程序：用Trie树实现词频统计和单词查询
词频分析--字典树的应用
Vincent的专栏
10-27 1072
词频分析–字典树的应用 字典树又称单词查找树，Trie树，前缀树，是一种树形结构，是一种哈希树的变种。 典型应用是用于统计，排序和保存大量的字符串所以经常被搜索引擎系统用于文本词频统计。 它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 下面我们来用python应用字典树实现词频分析 首先我们定义一个节点， 节点包括三部分内容，1是字符，2是该字...
数据结构·第五次作业·树·第二题·词频统计&Trie字典树
bouIevard的博客
06-08 1724
第二题：词频统计 树实现 【问题描述】 编写程序统计一个英文文本文件中每个单词的出现次数（词频统计），并将统计结果按单词字典序输出到屏幕上。 要求：程序应用二叉排序树（BST）来存储和统计读入的单词。 注：在此单词为仅由字母组成的字符序列。包含大写字母的单词应将大写字母转换为小写字母后统计。在生成二叉排序树不做平衡处理。 【输入形式】 打开当前目录下文件article.txt，从中读取英文单词进行词频统计。 【输出形式】 程序应首先输出二叉排序树中根节点、根节点的右节点及根节点的右节点.
词频统计
weixin_46226815的博客
10-30 1359
【问题描述】 编写程序统计一个英文文本文件中每个单词的出现次数（词频统计），并将统计结果按单词字典序输出到屏幕上。 注：在此单词为仅由字母组成的字符序列。包含大写字母的单词应将大写字母转换为小写字母后统计。 【输入形式】 打开当前目录下文件article.txt，从中读取英文单词进行词频统计。 【输出形式】 程序将单词统计结果按单词字典序输出到屏幕上，每行输出一个单词及其出现次数，单词和其出现次数间由一个空格分隔，出现次数后无空格，直接为回车。 【样例输入】 当前目录下文件article.txt内容如下：
字典树(trie树)实现词频查找
陈奕迅的博客
01-30 7662
碎碎念:  在大学数据结构中，有关于树的应用部分。其中一个就是利用树来进行词频的统计，我们主要希望的是查询效率高，对于树来说查询效率和插入都比较快，时间复杂度都能做到较好。  我们来看一段来自百度百科对trie树的解释:       字典树又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎
UVA1167Hardwood Species字典树 统计词频
lanshan1111的博客
01-04 234
https://uva.onlinejudge.org/index.php?option=com_onlinejudge&amp;Itemid=8&amp;page=show_problem&amp;problem=1167 Hardwoods are the botanical group of trees that have broad leaves, produce a fruit or ...
字典树
peizhiinfo
08-17 197
字典树，顾名思义，就是一种对字母等字符串进行处理的一种特殊数据结构。说白了，就是二十六叉树。定义一个头指针，每次从头指针开始操作。 有两种常用的操作： 1.查询某个字符串的出现次数。 每个节点的count置为0，直到这个字符串结束，在末尾处count++.这样，就记录了该字符串的出现次数。 2.查询某个字符串特定序列出现的次数。 每个节点的count初始化为0，当读入一个字符，则coun...
基于Tire树(字典树)与倒排索引实现文本词频统计工具
ZY-JIMMY
06-30 5852
C风格文件、C++风格读写操作 、英文文章单词的正确分割 、基于Trie树实现文件词频统计 、基于Trie树实现带倒排索引的文件词频统计
用二叉树实现词频统计
weixin_40500026的博客
06-22 5801
编写程序统计一个英文文本文件中每个单词的出现次数（词频统计），并将统计结果按单词字典序输出到屏幕上。要求：程序应用二叉排序树（BST）来存储和统计读入的单词。注：在此单词为仅由字母组成的字符序列。包含大写字母的单词应将大写字母转换为小写字母后统计。在生成二叉排序树不做平衡处理。【输入形式】打开当前目录下文件article.txt，从中读取英文单词进行词频统计。【输出形式】程序应首先输出二叉排序树中...
Trie树（字典树)
08-23 662
作者：July、yansha。 出处：http://blog.csdn.net/v_JULY_v 。  转自： http://blog.csdn.net/v_july_v/article/details/6897097  引言     常关注本blog的读者朋友想必看过此篇文章：从B树、B+树、B*树谈到R 树，这次，咱们来讲另外两种树：Tire树与后缀树。不过，在此之前，先来看两
Trie树：统计词频、排序、查找
ccq1029的专栏
09-08 2392
Trie树利用字符串的公共前缀降低了查询时间的开销，提高了查询的效率。 字典树的插入，删除和查找都非常简单，用一个一重循环即可。 1. 从根节点开始一次搜索 2. 取得要查找关键词的第一个字母，并根据该字母选择对应的子树并转到该子树继续进行检索 3. 在相应的子树上，取得要查找关键词的第二个字母，并进一步选择对应的子树进行检索 4. 迭代过程... 5. 在某个节点处，关键词的所有字母
C语言字典树词频统计
最新发布
05-30
好的，下面是C语言实现的字典树词频统计代码： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <ctype.h> #define MAX_WORD_LEN 100 // 单词最大长度 // 字典树节点结构体 typedef struct TrieNode { int count; // 记录单词出现次数 struct TrieNode* next[26]; // 指向下一个字符的指针数组 } TrieNode; // 创建新的字典树节点 TrieNode* newTrieNode() { TrieNode* node = (TrieNode*)malloc(sizeof(TrieNode)); node->count = 0; memset(node->next, 0, sizeof(node->next)); return node; } // 将单词插入字典树 void insertWord(TrieNode* root, char* word) { TrieNode* node = root; int len = strlen(word); for (int i = 0; i < len; i++) { int index = tolower(word[i]) - 'a'; // 转换为小写字母后计算下标 if (node->next[index] == NULL) { node->next[index] = newTrieNode(); } node = node->next[index]; } node->count++; } // 统计单词出现次数 int countWords(TrieNode* root, char* word) { TrieNode* node = root; int len = strlen(word); for (int i = 0; i < len; i++) { int index = tolower(word[i]) - 'a'; // 转换为小写字母后计算下标 if (node->next[index] == NULL) { return 0; } node = node->next[index]; } return node->count; } int main() { TrieNode* root = newTrieNode(); char filename[100]; printf("请输入要统计的文本文件名："); scanf("%s", filename); FILE* fp = fopen(filename, "r"); if (fp == NULL) { printf("文件打开失败！\n"); return 0; } char word[MAX_WORD_LEN]; while (fscanf(fp, "%s", word) != EOF) { insertWord(root, word); } fclose(fp); printf("请输入要查询的单词（输入quit结束查询）：\n"); while (1) { scanf("%s", word); if (strcmp(word, "quit") == 0) { break; } printf("%s: %d\n", word, countWords(root, word)); } return 0; } ``` 这份代码可以读取一个文本文件，将其中的单词插入字典树中，并且可以查询某个单词在文本中出现的次数。在插入单词和查询单词时，会将单词转换为小写字母后再进行操作，这样可以避免大小写不同的单词被算作不同的单词。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山山峏川-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值