7-44 基于词频的文件相似度 (30 分)
实现一种简单原始的文件相似度计算,即以两文件的公共词汇占总词汇的比例来定义相似度。为简化问题,这里不考虑中文(因为分词太难了),只考虑长度不小于3、且不超过10的英文单词,长度超过10的只考虑前10个字母。
输入格式:
输入首先给出正整数N(≤100),为文件总数。随后按以下格式给出每个文件的内容:首先给出文件正文,最后在一行中只给出一个字符#,表示文件结束。在N个文件内容结束之后,给出查询总数M(≤10
4
),随后M行,每行给出一对文件编号,其间以空格分隔。这里假设文件按给出的顺序从1到N编号。
输出格式:
针对每一条查询,在一行中输出两文件的相似度,即两文件的公共词汇量占两文件总词汇量的百分比,精确到小数点后1位。注意这里的一个“单词”只包括仅由英文字母组成的、长度不小于3、且不超过10的英文单词,长度超过10的只考虑前10个字母。单词间以任何非英文字母隔开。另外,大小写不同的同一单词被认为是相同的单词,例如“You”和“you”是同一个单词。
输入样例:
3
Aaa Bbb Ccc
Bbb Ccc Ddd
Aaa2 ccc Eee
is at Ddd@Fff
2
1 2
1 3
输出样例:
50.0%
33.3%
思路
- 根据要求处理词语:单词长度在[3,10],超过10的部分只取10,非英文字母都视作分隔符;
- 处理词语的时候用一个set的数组来存放每个文件的词语;
- 输入了要对比的文件编号之后,将两个文件编号对应的词汇进行对比,记录重复的词汇数;
- 结果就是 ans = 重复的词汇数 / (两个文件词汇数之和-重复的词汇数)
#include <iostream>
#include <unordered_map>
#include <unordered_set>
#include <string>
using namespace std;
unordered_set<string> file_word[110];
int n,k;
void deal(string s,int file_no){//对一行内容进行处理
string word;
s += ".";//保证最后一个单词能录入
for(int i=0;i<s.length();i++){
if(isalpha(s[i])){
if(word.size()<10)
word += tolower(s[i]);
}else {
if(word.size()>2 && word.size()<11) //满足一个单词的长度就将这个单词的文件号记录
file_word[file_no].insert(word);
word.clear();
}
}
}
int main(){
#ifdef ONLINE_JUDGE
#else
freopen("1.txt", "r", stdin);
#endif
cin >> n;
getchar();
for(int i=1;i<=n;i++){
string s;
do{//处理词语
getline(cin, s);
deal(s,i);
}while(s!="#");
}
cin >> k;
for(int i=0;i<k;i++){
int a,b;
scanf("%d%d",&a,&b);
int total = (int)file_word[a].size()+(int)file_word[b].size();//总词数(包含重复)
int common_cnt = 0;//重复数
for(auto it:file_word[a]){
if(file_word[b].find(it)!=file_word[b].end()){
common_cnt++;
total--;
}
}
printf("%.1lf%%\n",total==0?0:common_cnt*100.0/total);
}
return 0;
}