python实现文本查重系统_NLP之gensim库python实现文本相似度/匹配/查重

目的

给定一个或多个搜索词，如“高血压 患者”，从已有的若干篇文本中找出最相关的(n篇)文本。

理论知识

文本检索(text retrieve)的常用策略是：用一个ranking function根据搜索词对所有文本进行排序，选取前n个，就像百度搜索一样。

算法：模型选择

1、基于word2vec的词语相似度计算模型

2、python的实现用到了gensim库

3、“jieba”中文分词

分步实现：

jieba.cut

方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用

HMM 模型

构建停用词表

"""分词、去停用词"""

# stopwords =["项目",'招标','中标', '公告', '标题'] # 停用词

stopwords = []

stopwords = [ w.strip() for w in stopwords ]

结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词]

# stop_flag = ['x', 'c', 'u', 'd', 'p', 't', 'uj', 'm', 'f', 'r'] # 停用词性

stop_flag = []

对一篇文章分词、去停用词