基于词频的文件相似度
这个实在是不会了,他文本文件的导入和最后的比较,属实是不太了解,麻烦给个代码参考一下,谢谢啦
实现一种简单原始的文件相似度计算,即以两文件的公共词汇占总词汇的比
例来定义文章内容相似度。为简化问题,这里不考虑中文(因为分词困难),只
考虑长度不小于 1000 个英文单词的文章,长度超过 10 字母的单词只考虑前 10
个字母。
输入:
给出要检查的英文文本文件的文件夹位置
输出:
- 以表格形式给出该文件夹下两两文件的相似度数值
- 可以查询两文件的公共词汇(按照英文顺序输出)
- 考虑词频【加分点】
说明:
两文件的相似度定义为两文件的公共词汇量占两文件总词汇量的百分比。
如
文件 1:Aaa Bbb Ccc
文件 2:Bbb Ccc Ddd
则相似度为 50%,公共词汇为 Bbb Ccc
自己构造测试用输入输出数据,验收时提交。
如文件夹下有 a.txt、b.txt、c.txt 三个文件,输出如下
a.txt,b.txt 55%
a.txt,c.txt 60%
a.txt,c.txt 30%