Word2Vec 简介

Word2Vec 简介

Word2vec是一个用于处理文本的双层神经网络。它的输入是文本语料，输出则是一组向量：该语料中词语的特征向量。虽然Word2vec并不是深度神经网络，但它可以将文本转换为深度神经网络能够理解的数值形式

Word2vec的目的和功用是在向量空间内将词的向量按相似性进行分组。它能够识别出数学上的相似性。Word2vec能生成向量，以分布式的数值形式来表示词的上下文等特征。而这一过程无需人工干预。

给出足够的数据、用法和上下文，Word2vec就能根据过去经验对词的意义进行高度准确的预测。这样的预测结果可以用于建立一个词与其他词之间的联系（例如，“男人”和“男孩”的关系与“女人”和“女孩”的关系相同），或者可以将文档聚类并按主题分类。而这些聚类结果是搜索、情感分析和推荐算法的基础，广泛应用于科研、调查取证、电子商务、客户关系管理等领域。

Word2vec神经网络的输出是一个词汇表，其中每个词都有一个对应的向量，可以将这些向量输入深度学习网络，也可以只是通过查询这些向量来识别词之间的关系。

Word2vec衡量词的余弦相似性，无相似性表示为90度角，而相似度为1的完全相似则表示为0度角，即完全重合；例如，瑞典与瑞典完全相同，而挪威与瑞典的余弦距离为0.760124，高于其他任何国家。

以下是用Word2vec生成的“瑞典”的相关词列表：

前九位中包括斯堪的纳维亚半岛国家和几个富裕的北欧及日耳曼语系国家。

神经词向量

我们用来表示词的向量称为神经词向量，这样的表示方式很奇特。虽然是两种完全不同的事物，但却能用其中一种来描述另一种事物。正如Elvis Costello所说：“写关于音乐的文字就像是跳关于建筑的舞蹈一样。”Word2vec将词“向量化”，从而使自然语言能被计算机读取－这样我们就可以对词语进行复杂的数学运算来识别词之间的相似性。

所以神经词向量用数字来表示词。这是一种简单而又不可思议的“翻译”。

Word2vec与自动编码器相似，它将每个词编码为向量，但Word2vec不会像受限玻尔兹曼机那样通过重构输入的词语来定型，而是根据输入语料中相邻的其他词来进行每个词的定型。

具体的方式有两种，一种是用上下文预测目标词（连续词袋法，简称CBOW），另一种则是用一个词来预测一段目标上下文，称为skip-gram方法。我们使用后一种方法，因为它处理大规模数据集的结果更为准确。

若指定给一个词的特征向量无法准确预测出这个词的上下文，则向量的要素会被调整。语料中每个词的上下文就是传回误差信号以调整特征向量的老师。若不同词的向量按上下文判定为相似，则会调整向量中的数字，使这些向量靠得更近。

正如梵高的画作《向日葵》是用油画颜料在画布上混合组成的二维图形来表示十九世纪八十年代末巴黎的三维植物实物一样，一个包含500个数字的向量也可以用来表示一个词或一组词。

这些数字指出了每个词在500维向量空间中的位置。人们很难想象超过三维的空间。（Geoff Hinton在教学生想象13维空间时，要他们先想象三维空间，然后对自己说：“十三、十三、十三。”：）

一组定型良好的词向量会让相似的词语在向量空间内彼此靠近。橡树、榆树、桦树这些词可能聚集在空间的一个角落，而战争、冲突、斗争则挤在另一个角落。

类似的事物与概念也会比较“靠近”。他们的相对意义被转译为可衡量的距离。质量变为数量，让算法得以运行。但相似性只是Word2vec可以学习的许多种关联的基础。举例而言，Word2vec还可以衡量一种语言的词语之间的关系，并且将这些词相互映射。

以这些向量为基础，可以得到更全面的词的几何分布。罗马、巴黎、柏林、北京这些首都的名称不仅会聚集在一处，彼此靠近，同时每个词在向量空间内到其对应国家名称的距离也是相似的；例如：罗马－意大利 = 北京－中国。如果你只知道意大利的首都是罗马，而不知道中国的首都在哪里，那么可以由计算式罗马－意大利 + 中国得出是北京。不骗你。

最后附上tensorflow的Word2Vec代码

import collections
import math
import numpy as np
import os
import random
import tensorflow