gensim使用

一、基本概念
gensim是一个python的自然语言处理库，能够将文档向量化以及建立模型（TF-IDF, LDA, LSI）。
corpora用于构建语料库，models用于构建处理模型，Similarity用于文档相似性比对
顺序：corpora-->models-->Similarity
简单例子：
如：两篇文章，每个文章都是由一句话组成
D1: I am a student.
D2: I am a teacher,I love my students.
1. 预处理数据
   1.1 分词,英文通常使用空格分词(注意词干提取和词形还原)，中文可以选择jieba分词
   1.2 去掉停词（如： a in of I am 等等）或者去掉指定词根据业务
   1.3 其他处理，如去掉出现一次的词，由业务取决