2021.5.22项目阶段报告

本周进度

1.给出了共现矩阵的一种实现。
希望将共现矩阵加入到查重算法中，主要用于发现主题，解决词向量相近关系的表示；或许可以考虑处理正文。
2.搜集了几种文本相似度的度量方法。
LCS最长子序列；
最小编辑距离；
莱文斯坦距离；
Jaccard相似性系数；
TF-IDF+topK；
余弦相似度；
欧几里德相似度；
皮尔森相似度；
局部哈希算法。
3.制作了一个简易的网络查重demo。
使用Tkinter生成一个简单界面；
选择文件并分词；
使用爬虫；
计算相似度；
展示结果。

下周目标

1.优化查重算法。
2.完善提取细节。