nltk-比较英文文档相似度-完整实例

转载 2015年11月19日 11:02:31

说明:

* 其中基准数据,可以来自外部,处理过程为:

     - 处理为词袋

     - 经过数据集的tfidf结果

* 无法处理中文

     - 分词器不支持

* 未另外加载语料库

#!/usr/bin/env python
#-*-coding=utf-8-*-
 
"""原始数据"""
#缩水版的courses,实际数据的格式应该为 课程名\t课程简介\t课程详情,并已去除html等干扰因素
courses = ['Writing II: Rhetorical Composing', 'Genetics and Society: A Course for Educators', 'General Game Playing', 'Genes and the Human Condition (From Behavior to Biotechnology)', 'A Brief History of Humankind', 'New Models of Business in Society', 'Analyse Numrique pour Ingnieurs', 'Evolution: A Course for Educators', 'Coding the Matrix: Linear Algebra through Computer Science Applications', 'The Dynamic Earth: A Course for Educators']
#实际的 courses_name = [course.split('\t')[0] for course in courses]
courses_name = ['Writing II: Rhetorical Composing', 'Genetics and Society: A Course for Educators', 'General Game Playing', 'Genes and the Human Condition (From Behavior to Biotechnology)', 'A Brief History of Humankind', 'New Models of Business in Society', 'Analyse Numrique pour Ingnieurs', 'Evolution: A Course for Educators', 'Coding the Matrix: Linear Algebra through Computer Science Applications', 'The Dynamic Earth: A Course for Educators']
 
 
 
"""预处理(easy_install nltk)"""
 
#引入nltk
import nltk
#nltk.download()    #下载要用的语料库等,时间比较长,最好提前准备好
 
#分词
from nltk.corpus import brown
texts_lower = [[word for word in document.lower().split()] for document in courses]
from nltk.tokenize import word_tokenize
texts_tokenized = [[word.lower() for word in word_tokenize(document)] for document in courses]
 
#去除停用词
from nltk.corpus import stopwords
english_stopwords = stopwords.words('english')
texts_filtered_stopwords = [[word for word in document if not word in english_stopwords] for document in texts_tokenized]
#去除标点符号
english_punctuations = [',', '.', ':', ';', '?', '(', ')', '[', ']', '&', '!', '*', '@', '#', '$', '%']
texts_filtered = [[word for word in document if not word in english_punctuations] for document in texts_filtered_stopwords]
 
#词干化
from nltk.stem.lancaster import LancasterStemmer
st = LancasterStemmer()
texts_stemmed = [[st.stem(word) for word in docment] for docment in texts_filtered]
 
 
#去除过低频词
all_stems = sum(texts_stemmed, [])
stems_once = set(stem for stem in set(all_stems) if all_stems.count(stem) == 1)
texts = [[stem for stem in text if stem not in stems_once] for text in texts_stemmed]
 
"""
注意:本例子中只用了course_name字段,大多数word频率过低,造成去除低频词后,有些document可能为空
          因此后面的处理结果只做示范
"""
 
 
"""
引入gensim,正式开始处理(easy_install gensim)
 
输入:
     1.去掉了停用词
     2.去掉了标点符号
     3.处理为词干
     4.去掉了低频词
 
"""
from gensim import corpora, models, similarities
 
#为了能看到过程日志
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
 
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]     #doc2bow(): 将collection words 转为词袋,用两元组(word_id, word_frequency)表示
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
 
#拍脑袋的:训练topic数量为10的LSI模型
lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=10)
index = similarities.MatrixSimilarity(lsi[corpus])     # index 是 gensim.similarities.docsim.MatrixSimilarity 实例
 
 
"""
对具体对象相似度匹配
"""
#选择一个基准数据
ml_course = texts[2]
ml_bow = dictionary.doc2bow(ml_course)     
#在上面选择的模型数据 lsi 中,计算其他数据与其的相似度
ml_lsi = lsi[ml_bow]     #ml_lsi 形式如 (topic_id, topic_value)
sims = index[ml_lsi]     #sims 是最终结果了, index[xxx] 调用内置方法 __getitem__() 来计算ml_lsi
#排序,为输出方便
sort_sims = sorted(enumerate(sims), key=lambda item: -item[1])
 
#查看结果
print sort_sims[0:10]   #看下前10个最相似的,第一个是基准数据自身
print courses_name[2]   #看下实际最相似的数据叫什么



举报

相关文章推荐

两篇文章的相似度比较

仅仅考虑词组,并未考虑文本的语义信息

中文短句子相似度比较(PHP版本UTF8)

<?php #中文短句子相似度比较 #参考文献 http://www.doc88.com/p-2055556399236.html header("Content-type: text/html; c...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

Android OpenCv进行图片比对

OpenCv 对于图片有很多的处理方式,现在我想要实现俩张图片的比对。 首先要知道做个需要那些步骤: (1)加载俩张图片 (2)将两张图片转换为Mat矩阵 (3)把Mat矩阵的type转换为Cv_8u...

用docsim/doc2vec/LSH比较两个文档之间的相似度

在我们做文本处理的时候,经常需要对两篇文档是否相似做处理或者根据输入的文档,找出最相似的文档。 幸好gensim提供了这样的工具,具体的处理思路如下,对于中文文本的比较,先需要做分词处理,根据分词的结...

lsi计算文档相似度

原文链接 http://datum.readthedocs.org/en/latest/201308/gensim.html#lsi 先准备数据,我爬了约2w篇豆瓣日记作为这次试验的数...

Python文本相似度实战——基于gensim和nltk库

任务内容: 给定一个文本库,比如说新闻文本(无标注的)等等,现在有一些已经做好标注的文本,如何在文本库中找到与做好标注的文本相似的文章。 所用工具: python , gensim , nltk ...

几种文本相似度算法的C++实现

1、最小编辑距离

文本相似度算法

1.信息检索中的重要发明TF-IDF 1.1TF Term frequency即关键词词频,是指一篇文章中关键词出现的频率,比如在一篇M个词的文章中有N个该关键词,则 (公式1.1-...

文本相似度计算

思路是:把字符串的字符放入一个字典中,计算他们(相同的个数/开平方(字符串1的个数*字符串2的个数),得到相似度  比如要比较    "中国" 和  "中" 则字典中存放的是   ...

TF-IDF与余弦相似性的应用(二):找出相似文章

TF-IDF与余弦相似性的应用(二):找出相似文章 作者: 阮一峰 上一次,我用TF-IDF算法自动提取关键词。 今天,我们再来研究另一个相关的问题。有些时候,除了找到关键词...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)