nltk-比较英文文档相似度-完整实例

转载 2015年11月19日 11:02:31

说明:

* 其中基准数据,可以来自外部,处理过程为:

     - 处理为词袋

     - 经过数据集的tfidf结果

* 无法处理中文

     - 分词器不支持

* 未另外加载语料库

#!/usr/bin/env python
#-*-coding=utf-8-*-
 
"""原始数据"""
#缩水版的courses,实际数据的格式应该为 课程名\t课程简介\t课程详情,并已去除html等干扰因素
courses = ['Writing II: Rhetorical Composing', 'Genetics and Society: A Course for Educators', 'General Game Playing', 'Genes and the Human Condition (From Behavior to Biotechnology)', 'A Brief History of Humankind', 'New Models of Business in Society', 'Analyse Numrique pour Ingnieurs', 'Evolution: A Course for Educators', 'Coding the Matrix: Linear Algebra through Computer Science Applications', 'The Dynamic Earth: A Course for Educators']
#实际的 courses_name = [course.split('\t')[0] for course in courses]
courses_name = ['Writing II: Rhetorical Composing', 'Genetics and Society: A Course for Educators', 'General Game Playing', 'Genes and the Human Condition (From Behavior to Biotechnology)', 'A Brief History of Humankind', 'New Models of Business in Society', 'Analyse Numrique pour Ingnieurs', 'Evolution: A Course for Educators', 'Coding the Matrix: Linear Algebra through Computer Science Applications', 'The Dynamic Earth: A Course for Educators']
 
 
 
"""预处理(easy_install nltk)"""
 
#引入nltk
import nltk
#nltk.download()    #下载要用的语料库等,时间比较长,最好提前准备好
 
#分词
from nltk.corpus import brown
texts_lower = [[word for word in document.lower().split()] for document in courses]
from nltk.tokenize import word_tokenize
texts_tokenized = [[word.lower() for word in word_tokenize(document)] for document in courses]
 
#去除停用词
from nltk.corpus import stopwords
english_stopwords = stopwords.words('english')
texts_filtered_stopwords = [[word for word in document if not word in english_stopwords] for document in texts_tokenized]
#去除标点符号
english_punctuations = [',', '.', ':', ';', '?', '(', ')', '[', ']', '&', '!', '*', '@', '#', '$', '%']
texts_filtered = [[word for word in document if not word in english_punctuations] for document in texts_filtered_stopwords]
 
#词干化
from nltk.stem.lancaster import LancasterStemmer
st = LancasterStemmer()
texts_stemmed = [[st.stem(word) for word in docment] for docment in texts_filtered]
 
 
#去除过低频词
all_stems = sum(texts_stemmed, [])
stems_once = set(stem for stem in set(all_stems) if all_stems.count(stem) == 1)
texts = [[stem for stem in text if stem not in stems_once] for text in texts_stemmed]
 
"""
注意:本例子中只用了course_name字段,大多数word频率过低,造成去除低频词后,有些document可能为空
          因此后面的处理结果只做示范
"""
 
 
"""
引入gensim,正式开始处理(easy_install gensim)
 
输入:
     1.去掉了停用词
     2.去掉了标点符号
     3.处理为词干
     4.去掉了低频词
 
"""
from gensim import corpora, models, similarities
 
#为了能看到过程日志
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
 
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]     #doc2bow(): 将collection words 转为词袋,用两元组(word_id, word_frequency)表示
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
 
#拍脑袋的:训练topic数量为10的LSI模型
lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=10)
index = similarities.MatrixSimilarity(lsi[corpus])     # index 是 gensim.similarities.docsim.MatrixSimilarity 实例
 
 
"""
对具体对象相似度匹配
"""
#选择一个基准数据
ml_course = texts[2]
ml_bow = dictionary.doc2bow(ml_course)     
#在上面选择的模型数据 lsi 中,计算其他数据与其的相似度
ml_lsi = lsi[ml_bow]     #ml_lsi 形式如 (topic_id, topic_value)
sims = index[ml_lsi]     #sims 是最终结果了, index[xxx] 调用内置方法 __getitem__() 来计算ml_lsi
#排序,为输出方便
sort_sims = sorted(enumerate(sims), key=lambda item: -item[1])
 
#查看结果
print sort_sims[0:10]   #看下前10个最相似的,第一个是基准数据自身
print courses_name[2]   #看下实际最相似的数据叫什么



gensim 英文文本相似度

# -*- coding: utf-8 -*- """ 对英文的处理 """import logging from gensim import models, similarities, corpor...
  • j904538808
  • j904538808
  • 2017年12月04日 21:04
  • 66

如何计算两个文档的相似度(二)

注:完全进行了测试,并附有完整代码: # -*- coding: cp936 -*- from gensim import corpora, models, similarities import...
  • qq_27231343
  • qq_27231343
  • 2016年07月17日 17:30
  • 2736

向量空间模型——计算文本(英文)相似度

http://blog.chinaunix.net/uid-26548237-id-3541783.html 1、向量空间模型     向量空间模型作为向量的标识符,是一个用来表示文本文件...
  • u014261987
  • u014261987
  • 2014年12月07日 22:59
  • 1029

几种文本相似度算法的C++实现

1、最小编辑距离
  • fdsdfdsf
  • fdsdfdsf
  • 2014年05月23日 18:55
  • 1600

Python文本相似度实战——基于gensim和nltk库

任务内容: 给定一个文本库,比如说新闻文本(无标注的)等等,现在有一些已经做好标注的文本,如何在文本库中找到与做好标注的文本相似的文章。 所用工具: python , gensim , nltk ...
  • kelvinLLL
  • kelvinLLL
  • 2017年02月25日 07:16
  • 2826

如何计算文档相似性

最近课题需要,整理一下文档相似性的一些研究,主要是参考知乎上面的回答和52nlp的相关文章。以备后期综述使用。具体还需要好好细读链接。主要思路 01/one hot representation,BO...
  • u011826745
  • u011826745
  • 2016年08月30日 19:39
  • 2080

gensim 中文文本相似度计算

# -*- coding: utf-8 -*-import jieba import logging from gensim import corpora, models, similarities ...
  • j904538808
  • j904538808
  • 2017年12月04日 21:07
  • 99

大规模文档相似度计算—基于MapReduce框架

现有Doc-word矩阵,采用余弦计算两两文档之间的相似度。在实际问题中,矩阵通常是很稀疏的,为了减少计算量,通常采用倒排索引的数据结构[1], 将包含相同word的doc映射到同一个节点上, 这...
  • u011596455
  • u011596455
  • 2017年06月01日 22:53
  • 244

WMD:基于词向量的文档相似度计算

EMD算法简介 该部分引用自[1] Earth Mover’s Distance (EMD),和欧氏距离一样,他们都是一种距离度量的定义,可以用来测量某分布之间的距离。EMD主要应用在...
  • cht5600
  • cht5600
  • 2016年11月30日 10:45
  • 3294

nltk-比较中文文档相似度-完整实例

nltk-比较中文文档相似度-完整实例
  • jdbc
  • jdbc
  • 2015年11月19日 10:57
  • 882
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:nltk-比较英文文档相似度-完整实例
举报原因:
原因补充:

(最多只允许输入30个字)