js将长文本加密成短文本_文本查重（Online Copy Detection）的实现

(给算法爱好者加星标，修炼编程内功)

作者：夜谷子

https://blog.csdn.net/weixin_43098787/article/details/82836140

前言：

我们每个人当年毕业的时候，大概都被论文查重折磨了很久吧？ 那么你对查重技术有没有什么好奇呢？ 

希望本文能对你们有所启发。

1、概述

1.1 需求

给定一段文本，需要返回其和网络开放性数据相比的整体重复率以及具体的重复情况(具体重复的句子/字符串以及重复程度)。

1.2 问题分析

该问题属于copy-detection领域。

由于需要给出查询文本具体重复的句子/字符串以及相应的重复程度，所以我们需要对查询文本进行合理的切分，并需要一一计算出切分后得到的字符串与在线开放互联网数据的相似内容和相似度。

该问题属于短文本相似性计算问题。需寻求短文本相似性计算方案。

另外，对于计算规模，大体上一条300字的查询文本，可以被切分为10-20条短文本，对于每一条短文本，利用爬虫返回搜索引擎匹配的前20条结果(即20条长文本，切分后平均得到约为4000条短文本)。

系统的关键性能指标主要包括结果精度和计算速度。

由上图可知，主要影响因素可概括为4点：查询文本切分策略、相似性度量算方法、爬虫自身性能、返回文本数的设置。

1.3 整体技术框架

2、爬虫设计

主要python包：

requests