nltk-比较中文文档相似度-完整实例

转载 2015年11月19日 10:57:35

nltk同时也能处理中文的场景,只要做如下改动:

  1. 使用中文分词器(如我选用了结巴分词)

  2. 对中文字符做编码处理,使用unicode编码方式

  3. python的源码编码统一声明为 gbk

  4. 使用支持中文的语料库


代码如下,需要jieba的支持

#!/usr/bin/env python
#-*-coding=gbk-*-
 
"""
     原始数据,用于建立模型
"""
#缩水版的courses,实际数据的格式应该为 课程名\t课程简介\t课程详情,并已去除html等干扰因素
courses = [           
            u'Writing II: Rhetorical Composing',
            u'Genetics and Society: A Course for Educators',
            u'General Game Playing',
            u'Genes and the Human Condition (From Behavior to Biotechnology)',
            u'A Brief History of Humankind',
            u'New Models of Business in Society',
            u'Analyse Numrique pour Ingnieurs',
            u'Evolution: A Course for Educators',
            u'Coding the Matrix: Linear Algebra through Computer Science Applications',
            u'The Dynamic Earth: A Course for Educators',
            u'Tiny Wings\tYou have always dreamed of flying - but your wings are tiny. Luckily the world is full of beautiful hills. Use the hills as jumps - slide down, flap your wings and fly! At least for a moment - until this annoying gravity brings you back down to earth. But the next hill is waiting for you already. Watch out for the night and fly as fast as you can. ',
            u'Angry Birds Free',
            u'没有\它很相似',
            u'没有\t它很相似',
            u'没有\t他很相似',
            u'没有\t他不很相似',
            u'没有',
            u'可以没有',
            u'也没有',
            u'有没有也不管',
            u'Angry Birds Stella',
            u'Flappy Wings - FREE\tFly into freedom!A parody of the #1 smash hit game!',
            u'没有一个',
            u'没有一个2',
           ]
 
#只是为了最后的查看方便
#实际的 courses_name = [course.split('\t')[0] for course in courses]
courses_name = courses
 
 
"""
    预处理(easy_install nltk)
"""
def pre_process_cn(courses, low_freq_filter = True):
    """
     简化的 中文+英文 预处理
        1.去掉停用词
        2.去掉标点符号
        3.处理为词干
        4.去掉低频词
 
    """
    import nltk
    import jieba.analyse
    from nltk.tokenize import word_tokenize
    
    texts_tokenized = []
    for document in courses:
        texts_tokenized_tmp = []
        for word in word_tokenize(document):
            texts_tokenized_tmp += jieba.analyse.extract_tags(word,10)
        texts_tokenized.append(texts_tokenized_tmp)   
    
    texts_filtered_stopwords = texts_tokenized
 
    #去除标点符号
    english_punctuations = [',', '.', ':', ';', '?', '(', ')', '[', ']', '&', '!', '*', '@', '#', '$', '%']
    texts_filtered = [[word for word in document if not word in english_punctuations] for document in texts_filtered_stopwords]
 
    #词干化
    from nltk.stem.lancaster import LancasterStemmer
    st = LancasterStemmer()
    texts_stemmed = [[st.stem(word) for word in docment] for docment in texts_filtered]
    
    #去除过低频词
    if low_freq_filter:
        all_stems = sum(texts_stemmed, [])
        stems_once = set(stem for stem in set(all_stems) if all_stems.count(stem) == 1)
        texts = [[stem for stem in text if stem not in stems_once] for text in texts_stemmed]
    else:
        texts = texts_stemmed
    return texts
 
lib_texts = pre_process_cn(courses)
 
 
 
"""
    引入gensim,正式开始处理(easy_install gensim)
"""
 
def train_by_lsi(lib_texts):
    """
        通过LSI模型的训练
    """
    from gensim import corpora, models, similarities
 
    #为了能看到过程日志
    #import logging
    #logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
 
    dictionary = corpora.Dictionary(lib_texts)
    corpus = [dictionary.doc2bow(text) for text in lib_texts]     #doc2bow(): 将collection words 转为词袋,用两元组(word_id, word_frequency)表示
    tfidf = models.TfidfModel(corpus)
    corpus_tfidf = tfidf[corpus]
 
    #拍脑袋的:训练topic数量为10的LSI模型
    lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=10)
    index = similarities.MatrixSimilarity(lsi[corpus])     # index 是 gensim.similarities.docsim.MatrixSimilarity 实例
    
    return (index, dictionary, lsi)
 
    
#库建立完成 -- 这部分可能数据很大,可以预先处理好,存储起来
(index,dictionary,lsi) = train_by_lsi(lib_texts)
    
    
#要处理的对象登场
target_courses = [u'没有']
target_text = pre_process_cn(target_courses, low_freq_filter=False)
 
 
"""
对具体对象相似度匹配
"""
 
#选择一个基准数据
ml_course = target_text[0]
 
#词袋处理
ml_bow = dictionary.doc2bow(ml_course)  
 
#在上面选择的模型数据 lsi 中,计算其他数据与其的相似度
ml_lsi = lsi[ml_bow]     #ml_lsi 形式如 (topic_id, topic_value)
sims = index[ml_lsi]     #sims 是最终结果了, index[xxx] 调用内置方法 __getitem__() 来计算ml_lsi
 
#排序,为输出方便
sort_sims = sorted(enumerate(sims), key=lambda item: -item[1])
 
#查看结果
print sort_sims[0:10]   #看下前10个最相似的,第一个是基准数据自身
print courses_name[sort_sims[1][0]]   #看下实际最相似的数据叫什么
print courses_name[sort_sims[2][0]]   #看下实际最相似的数据叫什么
print courses_name[sort_sims[3][0]]   #看下实际最相似的数据叫什么



python的nltk中文使用和学习资料汇总帮你入门提高

nltk是一个python工具包, 用来处理和自然语言处理相关的东西. 包括分词(tokenize), 词性标注(POS), 文本分类, 等等现成的工具. 1. nltk的安装 资料1: 黄聪:Pyt...
  • huyoo
  • huyoo
  • 2013年09月30日 11:13
  • 53808

Python文本相似度实战——基于gensim和nltk库

任务内容: 给定一个文本库,比如说新闻文本(无标注的)等等,现在有一些已经做好标注的文本,如何在文本库中找到与做好标注的文本相似的文章。 所用工具: python , gensim , nltk ...
  • kelvinLLL
  • kelvinLLL
  • 2017年02月25日 07:16
  • 2771

使用NLTK计算word的相似度

5   Similarity >>> dog = wn.synset('dog.n.01') >>> cat = wn.synset('cat.n.01'...
  • DreamD1987
  • DreamD1987
  • 2013年02月16日 07:57
  • 2264

中文相似度匹配算法

基于音形码的中文字符串相似度算法 背景介绍 字符串相似度算法是指通过一定的方法,来计算两个不同字符串之间的相似程度。通常会用一个百分比来衡量字符串之间的相似程度。字符串相似度算法被应用于许多计算场...
  • chndata
  • chndata
  • 2014年11月14日 10:39
  • 9803

计算两个中文字符串相似度——编辑距离算法

1、Javapublic static void levenshtein(String str1, String str2) { // 计算两个字符串的长度。 int len1 = str...
  • kangkanglou
  • kangkanglou
  • 2014年09月12日 21:05
  • 6334

中文句子相似度计算思路

这里主要面向初学者介绍句子相似度目前主流的研究方向
  • fox801501
  • fox801501
  • 2015年05月07日 10:55
  • 3248

如何确定中文字符串的相似度

摘要 在数据挖掘的研究中,我们往往需要判断文章是否雷同,对类似文章或短句进行归类处理等,这其中就会遇到这样的问题:如何确定两个字符串之间的相似程度。 本文综合作者的实际工作经验和数据挖掘理论,结合中文...
  • wenzhibinbin_pt
  • wenzhibinbin_pt
  • 2013年04月27日 22:21
  • 1740

如何确定中文字符串的相似度

如何确定中文字符串的相似度 作者:肖波个人博客:http://blog.csdn.net/eagletEmail:blog.eaglet@gmail.com2007/4 南京 摘要在数据挖掘的研究中,...
  • eaglet
  • eaglet
  • 2007年04月28日 15:22
  • 4623

word2vec词向量训练及中文文本相似度计算

本文是讲述如何使用word2vec的基础教程,文章比较基础,希望对你有所帮助! 官网C语言下载地址:http://word2vec.googlecode.com/svn/trunk/ Word2vec...
  • Eastmount
  • Eastmount
  • 2016年02月18日 00:35
  • 50236

word2Vec--(1) nltk实现简单的切词,情感分析,文本相似度(TF-IDF)

Nltk   from nltk.corpus import brown (1)    brown.categories()  该文件下的文章目录 (2)    len(brown.sents())...
  • nanjifengzi
  • nanjifengzi
  • 2017年04月21日 15:08
  • 1247
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:nltk-比较中文文档相似度-完整实例
举报原因:
原因补充:

(最多只允许输入30个字)