BUAA_数据结构_综合作业_1. 文本摘要生成

BUAA_数据结构_综合作业_1. 文本摘要生成（综合-小数据）

注：本版代码为Version1.0 思路较为简单 后续将同步更新优化后的代码供大家一起进步

题目描述：

在自然语言文本处理中，有一种分析文本、自动抽取文本主题思想的方法（通常用于文本摘要生成），其方法如下：

1. 首先分析文本中非停用词（stop-word）的出现频度；
2. 统计文本中每个句子中非停用词频度之和。若某个非停用词在一个句子中出现多次，则都要计算；
3. 按非停用词频度之和由高至低输出前N个句子。
   注：
   l 单词为仅由字母组成的字符序列。包含大写字母的单词应将大写字母转换为小写字母后进行词频统计。
   l 句子是由下面符号分隔的段落：句号(.)、问号(?)和惊叹号(!)。
   l 在自然语言处理中，停用词（stop-word）指的是文本分析时不会提供额外语义信息的词的列表，如英文单词a，an，he，you等就是停用词。

输入形式

根据当前目录下停用词文件“stopwords.txt”，打开当前目录下文件“article.txt”，并从标准输入读入需要生成至文件的句子数N。按上面要求进行文本分析，抽取相关文本主题思想。

输出形式

在标准输出上按频度之和由高至低输出前5个句子的频度之和与句子。输出时先输出句子的频度和，然后空一个空格再输出整个句子，每个句子最后有一个回车。同时按频度之和由高至低输出前N个句子的频度之和与句子输出到文件“results.txt”中，输出要求同标准输出。输出时，若两个句子频度和相同，则按原文本中出现次序输出。
说明：输出句子时，从第一个非空字符开始，句子中每个组成部分形态（包括单词中字母大小写、间隔）应与原文本中一致

思路讲解

依题意可知：我们需要统计的有
1、每个非停词的频率
2、每个句子中含有非停词的总频率
故我们首先需要将文章按照句号(.)、问号(?)和惊叹号(!)将文章分割为一个个句子，在分割的过程中制作我们的词汇表，即每识别好一个单词就判断这个单词是否为停词，如果这个单词是停词，那么我们不管他就可以，如果这个单词不是停词，我们就去词汇表找他，如果找到了，就给这个单词出现的频率+1，如果没找到这个单词，我们将这个单词加入词汇表即可。
当我们完整的制作好词汇表后，我们即对句子进行遍历，算出每个句子的非停词总频率即可。

结构体部分

如上文所述我们需要统计的有
1、每个非停词的频率
2、每个句子中含有非停词的总频率
所以这里使用两个结构体分别用于存储单词和句子信息
接着分别开两个结构体数组即可

读入部分

使用一个超大的一维数组存储文章信息
使用一个二维数组存储停词，500表示我预估停词的数量，30表示一个停词的长度（貌似没有大于30长度的单词叭）
注：
读入方式应该有多种方法，但是由于笔者比较懒所以采用了通通读进去然后一点点处理的方法，这里建议大家可以考虑一个一个读，或许效率能高一些。

其他部分

如思路即可
有一些需要注意的地方：
1、当句子开头是空格的时候，应不进行读入，即句子开头不应为空格
2、结构体的快速排序

参考代码

#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<ctype.h>
char Stop_words[500][30];//停词
char Article[7000000+10];//文章
typedef struct word{//单词 后期考虑字典树
    char alpha_word[30];
    int fre;//出现频率
}word;
typedef struct sentence{//句子 后期考虑桶排序
    char whole_sentence[3000];//完整的将句子存储
    int sum_fre;//句子的总频率
}sentence;

word word_list[1000000];//词汇表
int word_list_lenth,Stop_lenth;
sentence sentence_list[500000];//句子表
char word_temp[30];//temp

int find_stop_words(char word[]);//判断单词是否停词
int find_word_in_word_list(char word[]);//判断单词是否已经出现在词汇表中
int work_out_sum_fre(char sentence_1[]);
int find_word(char word_1[]);
char lower_to_upper(char x);//小写->大写

int comp(const void*a,const void *b) {
    word aa = *(word*)a;
    word bb = *(word*)b;
    return aa.fre-bb.fre;
}

int comp_sentence(const void*a,const void *b) {
    sentence aa = *(sentence*)a;
    sentence bb = *(sentence*)b;
    return bb.sum_fre - aa.sum_fre;
}


int main()
{
    FILE *stop,*in,*out;
    int N,i,Article_lenth;
	stop=fopen("stopwords.txt","r");
	in=fopen("article.txt","r");
	Article_lenth=fread(Article,1,7000010,in);
	Article_lenth=strlen(Article);
	//Stop_lenth=fread(Stop_words,1,2500,stop);
	Stop_lenth=0;
	while(fscanf(stop,"%s",Stop_words[Stop_lenth++])!=EOF) ;
	fclose(in);
	fclose(stop);
	//读入
	word_list_lenth=0;
	scanf("%d",&N);//输出N个
	int sentence_pos=0,word_temp_pos=0,single_sentence_pos=0;
	char al_x;
    for(i=0;i<Article_lenth;i++){
        if(single_sentence_pos==0&&Article[i]==' ') continue;
        sentence_list[sentence_pos].whole_sentence[single_sentence_pos++]=Article[i];
        if(isalpha(Article[i])){
            al_x=lower_to_upper(Article[i]);
            word_temp[word_temp_pos++]=al_x;
        }
        else{
            if(!find_stop_words(word_temp)){
                find_word_in_word_list(word_temp);
            }
            for(int p=0;p<word_temp_pos+1;p++){
                word_temp[p]='\0';
            }
            word_temp_pos=0;
        }
        if(Article[i]=='.'||Article[i]=='?'||Article[i]=='!'){
            sentence_pos++;
            single_sentence_pos=0;
        }
    }
    /*
    qsort(word_list,word_list_lenth,sizeof(word_list[1]),comp);
    for(i=0;i<word_list_lenth;i++){
        printf("%s %d\n",word_list[i].alpha_word,word_list[i].fre);
    }
    */
    /*
    for(i=0;i<sentence_pos;i++){
        printf("%s\n",sentence_list[i].whole_sentence);
    }
    */
    for(i=0;i<sentence_pos;i++){
        sentence_list[i].sum_fre=work_out_sum_fre(sentence_list[i].whole_sentence);
    }
    qsort(sentence_list,sentence_pos,sizeof(sentence_list[1]),comp_sentence);
    /*
    for(i=0;i<sentence_pos;i++){
        printf("%d %s\n\n",sentence_list[i].sum_fre,sentence_list[i].whole_sentence);
    }
    */
    for(i=0;i<5;i++){
        printf("%d %s\n",sentence_list[i].sum_fre,sentence_list[i].whole_sentence);
    }
    out=fopen("results.txt","w");
    for(i=0;i<N;i++){
        fprintf(out,"%d %s\n",sentence_list[i].sum_fre,sentence_list[i].whole_sentence);
    }
    fclose(out);
    return 0;
}

int find_stop_words(char word[])
{
    for(int i=0;i<Stop_lenth;i++){
        if(strcmp(word,Stop_words[i])==0){
            return 1;//如果单词是停词则返回1
        }
    }
    return 0;//不是返回0
}

int find_word_in_word_list(char word[])
//在词汇表中寻找单词，若找到则频度+1，没找到将单词加入词汇表
{
    for(int i=0;i<word_list_lenth;i++){
        if(strcmp(word,word_list[i].alpha_word)==0){//如果找到
            word_list[i].fre++;//频度+1
            return i;
        }
    }
    strcpy(word_list[word_list_lenth].alpha_word,word);//加入词汇表
    word_list[word_list_lenth].fre=1;//频度初值为1
    word_list_lenth++;//lenth++
    return -1;
}

int work_out_sum_fre(char sentence_1[])
{
    int res=0;
    int i;
    int lenth=strlen(sentence_1);
    int word_temp_pos=0;
    char al_x;
    for(int p=0;p<29;p++){
        word_temp[p]='\0';
    }
    for(i=0;i<lenth;i++){
        if(isalpha(sentence_1[i])){//如果是字母
            al_x=lower_to_upper(sentence_1[i]);//转为小写
            word_temp[word_temp_pos++]=al_x;//记录这个字母
        }
        else{//不是字母，说明上一个单词结束了
            res+=find_word(word_temp);//寻找这个单词的频度
            word_temp_pos=0;
            for(int p=0;p<29;p++){
                word_temp[p]='\0';
            }
        }
    }
    return res;
}

int find_word(char word_1[])
{
    int i;
    for(i=0;i<word_list_lenth;i++){
        if(strcmp(word_list[i].alpha_word,word_1)==0){
                return word_list[i].fre;//找到了返回频度
        }
    }
    return 0;//没找到返回0
}

char lower_to_upper(char x)
{
    return (x>='A'&&x<='Z')?(x|0x20):x;//这里用其他方式也可以
}

有问题或bug 欢迎私戳/评论
欢迎讨论~