Ubuntu上使用gensim计算文档间的相似度

暑期学习的过程中有幸接触了gensim中的lsi模型计算文档间的相似度，接下来将把我的所学整理一下~
详细的可见gensim的英文官方文档：http://radimrehurek.com/gensim/tutorial.html

关于gensim

gensim是一个相当专业的主题模型Python工具包，常应用于文本处理中挖掘文本间的相似度，它能够将文档根据TF-IDF, LDA, LSI 等模型转化成向量模式，以便进行进一步的处理。此外，gensim还实现了word2vec功能，能够将单词转化为词向量。

Ubuntu上gensim的安装

gensim依赖NumPy和SciPy这两大Python科学计算工具包，因此也需安装这两个依赖库~
（1）安装numpy和scipy

sudo apt-get install python-numpy
sudo apt-get install python-scipy

（2）安装gensim

sudo pip install --upgrade gensim

如果会报错的话可以尝试

sudo easy_install --upgrade gensim

gensim的使用

首先介绍几个概念：
（1）语料corpora就是一系列文档的集合，其中的词已经使用了字典进行相应的转换，成为一个个数字，我们可以通过字典的对应关系从数字找到对应的词。
（2）我们的输入是一个document list,每个文档是列表的一份子

from gensim import corpora, models, similarities
# 先获取文档进行切词存于list中便于后续工作
def get_class():
    documents = []
    data_path = '../task/'
    for i in range(len(interest)):
        each_path = os.path.join(data_path, interest[i]+'/')
        filename = os.listdir(each_path)
        for name in filename:
            title_class = ''
            f_path = os.path.join(each_path, name)
            lines = linecache.getlines(f_path)
            line = jieba.cut(lines[2])
            for word in line:
                if word not in stopwords:
                    title_class = title_class + word + ' '
                else:
                    continue
            documents.append(title_class)
    return documents
if __name__ == '__main__':
    documents = get_class()
    # 对文档进行处理
    texts = [[word for word in document.lower().split()] for document in documents]
    # 构建词典
    dictionary = corpora.Dictionary(texts)
    # 将用字符串表示的文档转换为用id表示的文档向量
    corpus = [dictionary.doc2bow(text) for text in texts]
    # 基于“训练文档”计算一个TF-IDF“模型”
    tfidf = models.TfidfModel(corpus)
    corpus_tfidf = tfidf[corpus]
    # 建立lsi模型
    lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=3)　# 这里的topic数需要自行调整达到最好的效果
    # 或者建立lda模型
    # lda = models.LdaModel(copurs_tfidf, id2word=dictionary, num_topics=2)
    # 构建索引便于后面的查询
    index = similarities.MatrixSimilarity(lsi[corpus])
    # 进行查询
    query = "某一篇文档"
    # 将其向量化
    query_bow = dictionary.doc2bow(query.lower().split())
    # 使用之前建立的lsi模型将向量映射topic空间
    query_lsi = lsi[query_bow]
    # 计算查询与训练文档的余弦相似度
    sims = index[query_lsi]
    # 进行排序即可看到效果
    sort_sims = sorted(enumerate(sims), key=lambda item: -item[1])

参考资料：
1.gensim的官方文档
2.我爱自然语言处理（强烈推荐此系列文档）