TensorFlow-9-词的向量表示

原创 2017年05月19日 23:02:08

今日资料:
https://www.tensorflow.org/tutorials/word2vec
中文版:
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/word2vec.html

这一节是关于 word2vec 模型的,可以用来学习词的向量表达,也叫‘word embeddings’。

之前写过一篇:word2vec 模型思想和代码实现,里面有 skip-gram 算法的简单实现。
http://www.jianshu.com/p/86134284fa14

今天要看的是如何在 TensorFlow 中训练词向量,主要看一下这个代码:
tensorflow/examples/tutorials/word2vec/word2vec_basic.py

词向量就是用一个具有一定维度的向量来表示一个单词,这样在分布式假设的思想下,我们可以认为出现在相同上下文情景中的词汇都有类似的语义。

word2vec 可以很有效地从文本中学习出词向量,主要有两种算法,Continuous Bag-of-Words model (CBOW) 和 Skip-Gram ,CBOW 根据上下文(’the cat sits on the’)来预测目标词汇(例如,‘mat’),而 Skip-Gram 则相反,它通过已知的目标词汇来预测上下文。

通常的 Neural probabilistic language 是通过极大似然法来条件概率:在给定前面语境的情况下,最大化目标词的概率。
而在 word2vec 中不需要用全概率模型,而是用 logistic regression 来把真实的目标词汇和制造的噪音词汇分开

目标函数就是,这个也叫 Negative Sampling,

即现在的 loss function 只和随机选出来的 k 个 噪声单词有关,而不是整个语料库 V,这样训练比较快。


本节的代码就是用一个 Skip-gram 模型来训练词向量:

例如我们有数据集:
the quick brown fox jumped over the lazy dog
假设使用大小为1的窗口,这样就得到这样一个由(上下文, 目标单词) 组成的数据集:
([the, brown], quick), ([quick, fox], brown), ([brown, jumped], fox), …

Skip-Gram 模型是把目标单词和上下文颠倒过来,因此数据集就变成由(输入, 输出)组成的:
(quick, the), (quick, brown), (brown, quick), (brown, fox), …

我们会计算每一对观察值和噪声值的损失函数,例如 sheep 就是个噪音:

整个计算的过程就是我们求出目标函数对 theta 的梯度,然后通过梯度下降法来更新 embedding parameters theta 来最大化目标函数,结果就是 embedding vectors 会不断地移动,直到可以把真实单词和噪声单词很好得区分开。

最后还可以用 t-SNE 来可视化最后的词向量间的距离关系,可以发现具有相似信息的单词距离较近。


1. 先下载数据,words 有17005207 个单词:

url = 'http://mattmahoney.net/dc/'
...
filename = maybe_download('text8.zip', 31344016)
...
words = read_data(filename)

count 就是要统计出 words 里面最高频的 5 万个单词。
dictionary 里的 key 就是 count 里的单词,value 就是频率的排序号。
data 里存的是 words 中每个单词在 dictionary 中的序号,如果不在 5 万里面,就标记为 0.
reverse_dictionary 就是 key value 和 dictionary 里面的互换一下位置:

2. 用 最大长度为 span 的 deque 做一个窗口:

span = 2 * skip_window + 1
buffer = collections.deque(maxlen=span)

从 data 中一个一个读,先把一个窗口给读满。
要生成 batch_size 个样本,
每个样本是,先找到当前窗口的 target,然后在这个窗口中,随机生成 num_skips 个 target-context 对,
即会生成:3084 originated -> 12 as 这样的对。
每次生成完一个样本后,窗口向后移动一位,
一直到生成完 batch_size 个。

embeddings 是先随机生成 5万*128 维,
3. NCE loss 就是训练目标:

4. 用 SGD 优化器去优化目标,
valid_embeddings 是用来检验的 16 个单词的词向量表示,
similarity 是定义验证单词与词汇表中所有单词的相似度:

5. 然后就开始训练模型,num_steps = 100001
每 2000 次迭代后,显示一下平均 loss,
每 10000 次后,计算一下验证单词与所有单词的相似度,并将最相似的 8 个单词显示出来:

6. 最后用 TSNE 将 128 维的词向量降到 2 维,并展示频率最高的 100 个单词:


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

版权声明:本文为博主原创文章,未经博主允许不得转载。

最最最简单的URL聚类

我们要发现一个富文本中的http链接,发现一些群体行为,获取URL  第一步:提取http链接  使用 Jsoup 来做  Java代码   Document do...
  • gywtzh0889
  • gywtzh0889
  • 2017年03月24日 18:33
  • 389

tensorflow : 使用预训练词向量

目前使用深度网络进行文本任务模型训练时,第一步应该是将文本转为词向量进行处理。但一般词向量的效果跟语料的大小有关,而处理任务的语料不足支持我们的实验,这时就需要使用网上公开的大规模语料训练词向量。 ...
  • lxg0807
  • lxg0807
  • 2017年05月19日 10:21
  • 6154

2 语言模型和词向量 tensorflow词向量

----------------------------大纲-------------------------- 1 随着模型不断更新 2 直接使用预先训练好的词向量如word2vec, ...
  • fkyyly
  • fkyyly
  • 2018年01月10日 00:52
  • 68

TensorFlow学习笔记3:词向量

上篇博文讲了如何构建一个简单的CNN模型,并运行在MNIST数据集上。下面讲述一下如何在TensorFlow中生成词向量(Word Embedding),使用的模型来自Mikolov et a...
  • lyb3b3b
  • lyb3b3b
  • 2017年06月19日 20:19
  • 442

从零开始使用tensorflow(2)——词向量

前面记录了安装过程,现在开始使用词向量。 一.对tf的肤浅认识 首先是tf的基本总结(时间有限,认识比较肤浅): (1). 使用图来表示计算; (2). 在session中执行图; (3...
  • juanjuan1314
  • juanjuan1314
  • 2016年09月02日 10:16
  • 4976

TensorFlow教程之完整教程 2.7 字词的向量表示

 TensorFlow教程之完整教程 2.7 字词的向量表示 知与谁同 2017-08-22 15:37:40 浏览67 评论0 函数 摘要: 本文档为TensorFlo...
  • starzhou
  • starzhou
  • 2017年09月11日 08:57
  • 273

tensorflow笔记:使用tf来实现word2vec

时隔若干个月,又绕到了word2vec。关于word2vec的原理我就不叙述了,具体可见word2vec中的数学,写的非常好。 我后来自己用Python实现了一遍word2vec,过程写在自己动手写...
  • u014595019
  • u014595019
  • 2017年01月05日 14:50
  • 12799

学习TensorFlow,浅析MNIST的python代码

在github上,tensorflow的star是22798,caffe是10006,torch是4500,theano是3661。作为小码农的我,最近一直在学习tensorflow,主要使用pyth...
  • helei001
  • helei001
  • 2016年05月04日 10:56
  • 15346

TensorFlow 从入门到精通(二):MNIST 例程源码分析

MNIST 例程源码分析
  • kkk584520
  • kkk584520
  • 2016年05月22日 22:32
  • 30608

词的向量表示

转自 http://licstar.net/archives/328 Posted on 2013 年 7 月 29 日   这篇博客是我看了半年的论文后,自己对 Deep Learning 在 ...
  • yueyedeai
  • yueyedeai
  • 2014年04月30日 12:59
  • 5185
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TensorFlow-9-词的向量表示
举报原因:
原因补充:

(最多只允许输入30个字)