文档重复检测软件 DuplicateDetector

重复检测软件(Python实现)

可以检测英文文档之间的重复，包括完全重复（除标点，格式外都相同），和相近重复（部分(90%)抄袭）

TODO: 1. 数据抄袭（英文文档中数据集中的地方，比较多的数据相同） 2. 中文分词 3. 噪音消除

 

zoowii / DuplicateDetector