汐月教育之理解TensorFlow（四）词向量

作者：JUDGE_MENT

邮箱：gao19920804@126.com

CSDN博客：http://blog.csdn.net/sinat_23137713

最后编辑时间：2016.12.5  V1.1

声明：

1）该资料结合官方文档及网上大牛的博客进行撰写，如有参考会在最后列出引用列表。

2）本文仅供学术交流，非商用。如果不小心侵犯了大家的利益，还望海涵，并联系博主删除。

3）转载请注明出处。

4）本文主要是用来记录本人初学Tensorflow时遇到的问题，特此记录下来，因此并不是所有的方法（如安装方法）都会全面介绍。希望后人看到可以引以为鉴，避免走弯路。同时毕竟水平有限，希望有饱含学识之士看到其中的问题之后，可以悉心指出，本人感激不尽。

一. 为什么要有词向量？

对于物体或语音识别这一类的任务，我们所需的全部信息已经都存储在原始数据（图片中所有单个原始像素点强度值或者音频中功率谱密度的强度值）中（显然人类本身就是依赖原始数据进行日常的物体或语音识别的）。

然而，自然语言处理系统通常将词汇作为离散的单一符号，例如 "cat" 一词或可表示为 Id537 ，而 "dog" 一词或可表示为 Id143。这些符号编码毫无规律，无法提供不同词汇之间可能存在的关联信息。

可见，将词汇表达为上述的独立离散符号将进一步导致数据稀疏，使我们在训练统计模型时不得不寻求更多的数据。而词汇的向量表示将克服上述的难题。

二. vord2vec

Word2vec是一种可以进行高效率词嵌套学习的预测模型。

其两种变体分别为：连续词袋模型（CBOW）及Skip-Gram模型。

从算法角度看，这两种方法非常相似，其区别为CBOW根据源词上下文词汇（'the cat sits on the'）来预测目标词汇（例如，‘mat’），而Skip-Gram模型做法相反，它通过目标词汇来预测源词汇。

Skip-Gram模型采取CBOW的逆过程的动机在于：CBOW算法对于很多分布式信息进行了平滑处理（这里说的平滑是指将输入向量全部累加起来）（例如将一整段上下文信息视为一个单一观察量）。

很多情况下，对于小型的数据集，这一处理是有帮助的。

相形之下，Skip-Gram模型将每个“上下文-目标词汇”的组合视为一个新观察量，这种做法在大型数据集中会更为有效。本教程余下部分将着重讲解Skip-Gram模型

三.神经网络模型

终于这个模型使用softmax之后就可以不用考虑负样本了，本身就是归一化