使用词向量分析关键字语义的相似度 Python版本

准备工作

1. 安装jieba分词工具 pip install jieba
2. 安装gensim pip install gensim
3. 下载小说《兽血沸腾.txt》 自己百度之

实验目的

以《兽血沸腾.txt》的每一行为一篇文档，得到对应关键词的词向量，计算其中部分关键词的相似度。主要是熟悉词向量的使用场景。

背景知识介绍

什么是词向量？

---

词向量是自然语言理解中一种语言模型的副产品。所谓语言模型，其实就是将人类识别的语言转变为机器可以分析和处理的对象。传统的语言模型称为“词袋子模型”，一篇文章被分解为N个词的组合，进一步表示为一个M维度的向量，每个维度是字典中的一个词，如果这个词在文章中出现则表示为1，否则表示为0。
从语言建模的角度看，词向量使用的是n-gram模型，认为一篇文章当中不同的词之间存在关系，这种关系体现在这个词与出现在这个词之前和之后的若干个词之间，从概率的角度说，也就是这篇文章中这个词出现的概率可以近似等于该词与其关联词出现的条件概率。
从表示形式上看，词向量与传统语言模型的不同之处在于，传统语言模型是一个M维度的向量，向量中每一项的值为0或者1，而词向量维度更低，一般设定为几百维，并且每一项的值为一个实数。

如何获得词向量？

---

已有多种方法可以获取，我们这里使用最Fashion的神经网络方法。简单说一下原理：
（1）基于n-gram模型
（2）目标：最大化关键词的条件概率