BUAA_数据结构_综合作业_2. 文本摘要生成（综合-大数据）
注：本版代码为Version2.0 使用了字典树对词汇表进行了优化 后续将同步更新优化后的代码供大家一起进步
运行时间由Version1.0版本的120s+（TLE）优化至2.183s
题目描述：
在自然语言文本处理中，有一种分析文本、自动抽取文本主题思想的方法（通常用于文本摘要生成），其方法如下：
- 首先分析文本中非停用词（stop-word）的出现频度；
- 统计文本中每个句子中非停用词频度之和。若某个非停用词在一个句子中出现多次，则都要计算；
- 按非停用词频度之和由高至低输出前N个句子。
注：
l 单词为仅由字母组成的字符序列。包含大写字母的单词应将大写字母转换为小写字母后进行词频统计。
l 句子是由下面符号分隔的段落：句号(.)、问号(?)和惊叹号(!)。
l 在自然语言处理中，停用词（stop-word）指的是文本分析时不会提供额外语义信息的词的列表，如英文单词a，an，he，you等就是停用词。
输入形式
根据当前目录下停用词文件“stopwords.txt”，打开当前目录下文件“article.txt”，并从标准输入读入需要生成至文件的句子数N。按上面要求进行文本分析，抽取相关文本主题思想。
输出形式
在标准输出上按频度之和由高至低输出前5个句子的频度之和与句子。输出时先输出句子的频度和，然后空一个空格再输出整个句子，每个句子最后有一个回车。同时按频度之和由高至低输出前N个句子的频度之和与句子输出到文件“results.txt”中，输出要求同标准输出。输出时，若两个句子频度和相同，则按原文本中出现次序输出。
说明：输出句子时，从第一个非空字符开始，句子中每个组成部分形态（包括单词中字母大小写、间隔）应与原文本中一致
Version1.0思路讲解
依题意可知：我们需要统计的有
1、每个非停词的频率
2、每个句子中含有非停词的总频率
故我们首先需要将文章按照句号(.)、问号(?)和惊叹号(!)将文章分割为一个个句子，在分割的过程中制作我们的词汇表，即每识别好一个单词就判断这个单词是否为停词，如果这个单词是停词，那么我们不管他就可以，如果这个单词不是停词，我们就去词汇表找他，如果找到了，就给这个单词出现的频率+1，如果没找到这个单词，我们将这个单词加入词汇表即可。
当我们完整的制作好词汇表后，我们即对句子进行遍历，算出每个句子的非停词总频率即可。
结构体部分
如上文所述我们需要统计的有
1、每个非停词的频率
2、每个句子中含有非停词的总频率
所以这里使用两个结构体分别用于存储单词和句子信息
接着分别开两个结构体数组即可
读入部分
使用一个超大的一维数组存储文章信息
使用一个二维数组存储停词，500表示我预估停词的数量，30表示一个停词的长度（貌似没有大于30长度的单词叭）
注：
读入方式应该有多种方法，但是由于笔者比较懒所以采用了通通读进去然后一点点处理的方法，这里建议大家可以考虑一个一个读，或许效率能高一些。
其他部分
如思路即可
有一些需要注意的地方：
1、当句子开头是空格的时候，应不进行读入，即句子开头不应为空格
2、结构体的快速排序
Version2.0思路讲解
首先分析Version1.0版本中耗费时间较多的部分
1、在停词表中查找某一个单词即判断某一个单词是否为停词
2、查找某个单词是否在词汇表中出现过，如果出现过频度+1，如果没出现过我们就将他插入到词汇表里面
3、在词汇表中查找某一个单词的频度
4、按句子中非停词的总频度对句子排序
由于本题目数据量极大，故我首先考虑优化2.3两条
即查找、插入单词以及寻找单词的频度
优化方法采用字典树这种数据结构
字典树
这里简单谈下我对字典树的认知，字典树是一种能够高效查找的数据结构，及其适用于本题的数据（数据量极大），采用字典树可以将查找时间复杂度优化至O(L) L为字符串长度 相较于原先的O(n²)应该是优化了很多很多了。
参考代码
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<ctype.h>
#define branchNum 26
char Stop_words[500][30];//停词
char Article[7000000+10];//文章
typedef struct TrieNode
{
int count; //单词出现的频度
struct TrieNode *child[branchNum];
}TrieNode,*TrieTree;
typedef struct sentence{//句子 后期考虑桶排序
char whole_sentence[1500];//完整的将句子存储
int sum_fre;//句子的总频率
}sentence;
int Stop_lenth;
sentence sentence_list[250000];//句子表
char word_temp[25];//temp
int find_stop_words(char word[]);//判断单词是否停词
int work_out_sum_fre(TrieTree t,char sentence_1[]);//统计一个句子中非停词的总频度
char lower_to_upper(char x);//小写->大写
TrieNode *trie_create_node();//创建一个结点
void trie_insert_word(TrieTree t,char word[]);//插入一个单词
int trie_search_word(TrieTree t,char word[]);//查找单词
int trie_word_count(TrieTree t,char word[]);//统计单词出现的频度
int comp_sentence(const void*a,const void *b) {
sentence aa = *(sentence*)a;
sentence bb = *(sentence*)b;
return bb.sum_fre - aa.sum_fre;
}
int main()
{
TrieTree root=trie_create_node();
FILE *stop,*in,*out;
int N,i,Article_lenth;
stop=fopen("stopwords.txt","r");
in=fopen("article.txt","r");
Article_lenth=fread(Article,1,7000010,in);
Article_lenth=strlen(Article);
//Stop_lenth=fread(Stop_words,1,2500,stop);
Stop_lenth=0;
while(fscanf(stop,"%s",Stop_words[Stop_lenth++])!=EOF) ;
fclose(in);
fclose(stop);
//读入
scanf("%d",&N);//输出N个
int sentence_pos=0,word_temp_pos=0,single_sentence_pos=0;
char al_x;
for(i=0;i<Article_lenth;i++){
if(single_sentence_pos==0&&Article[i]==' ') continue;
sentence_list[sentence_pos].whole_sentence[single_sentence_pos++]=Article[i];
if(isalpha(Article[i])){
al_x=lower_to_upper(Article[i]);
word_temp[word_temp_pos++]=al_x;
}
else{
if(!find_stop_words(word_temp)){
trie_insert_word(root,word_temp);
}
for(int p=0;p<word_temp_pos+1;p++){
word_temp[p]='\0';
}
word_temp_pos=0;
}
if(Article[i]=='.'||Article[i]=='?'||Article[i]=='!'){
sentence_pos++;
single_sentence_pos=0;
}
}
for(i=0;i<sentence_pos;i++){
sentence_list[i].sum_fre=work_out_sum_fre(root,sentence_list[i].whole_sentence);
}
qsort(sentence_list,sentence_pos,sizeof(sentence_list[1]),comp_sentence);
/*
for(i=0;i<sentence_pos;i++){
printf("%d %s\n\n",sentence_list[i].sum_fre,sentence_list[i].whole_sentence);
}
*/
for(i=0;i<5;i++){
printf("%d %s\n",sentence_list[i].sum_fre,sentence_list[i].whole_sentence);
}
out=fopen("results.txt","w");
for(i=0;i<N;i++){
fprintf(out,"%d %s\n",sentence_list[i].sum_fre,sentence_list[i].whole_sentence);
}
fclose(out);
return 0;
}
int find_stop_words(char word[])
{
for(int i=0;i<Stop_lenth;i++){
if(strcmp(word,Stop_words[i])==0){
return 1;//如果单词是停词则返回1
}
}
return 0;//不是返回0
}
int work_out_sum_fre(TrieTree t,char sentence_1[])
{
int res=0;
int i;
int lenth=strlen(sentence_1);
int word_temp_pos=0;
char al_x;
for(int p=0;p<24;p++){
word_temp[p]='\0';
}
for(i=0;i<lenth;i++){
if(isalpha(sentence_1[i])){//如果是字母
al_x=lower_to_upper(sentence_1[i]);//转为小写
word_temp[word_temp_pos++]=al_x;//记录这个字母
}
else{//不是字母，说明上一个单词结束了
res+=trie_word_count(t,word_temp);//寻找这个单词的频度
word_temp_pos=0;
for(int p=0;p<24;p++){
word_temp[p]='\0';
}
}
}
return res;
}
char lower_to_upper(char x)
{
return (x>='A'&&x<='Z')?(x|0x20):x;//这里用其他方式也可以
}
TrieNode *trie_create_node()//创建一个tTrieNode节点
{
TrieNode *temp=(TrieNode*)malloc(sizeof(TrieNode));
temp->count=0;
memset(temp->child,NULL,sizeof(temp->child));
return temp;
}
void trie_insert_word(TrieTree t,char word[])//插入单词
{
TrieNode *node;
node=t;
int index;
while(*word)
{
index=*word-'a';
if(node->child[index]==NULL)
node->child[index]=trie_create_node();
node=node->child[index];
word++;
}
node->count++;//频度++
}
int trie_search_word(TrieTree t,char word[])//查找单词
{
TrieNode *node=t;
while(*word&&node!=NULL)
{
node=node->child[*word-'a'];
word++;
}
if(node!=NULL&&node->count>0)
return 1;
else
return 0;
}
int trie_word_count(TrieTree t,char word[])//统计单词出现的频度
{
if(!trie_search_word(t,word)) return 0;
TrieNode *node=t;
while(*word&&node!=NULL)
{
node=node->child[*word-'a'];
word++;
}
return node->count;
}
有问题
或bug欢迎私戳/评论
欢迎讨论~
4155
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
