- 博客(3)
- 收藏
- 关注
RSS订阅原创 Attention机制
在机器翻译领域中，Attention机制是从机器视觉领域首先提出的。其直觉是当人们观察事物时，人们总是将注意力放在关注的事物上，而不是看的所有画面。为了更好地解释Attention机制的作用，我们引入机器翻译任务中的问题。在机器翻译任务中，人们发现，RNN对短的句子总是有很好的翻译效果，而长句子的翻译效果则不尽如人意，这是因为即使是LSTM也只能记住大约30个词。我们可以从这样一个方面考虑，如下...
2019-04-16 22:58:54
648
1
原创 tf.nn.embedding_lookup函数的用法
tf.nn.embedding_lookup(params,ids)是用于查找在params中取出下标为ids的各个项import numpy as npimport tensorflow as tfx = np.array([[1,2,3],[4,5,6],[7,8,9]])x = tf.convert_to_tensor(x)a = tf.nn.embedding_lookup(x...
2019-04-07 16:17:23
296
原创 词向量表示
分类一、Count-based1. LSA基于滑动窗口的共现矩阵（co-occurence）以及SVD的方法。实现：window长度为1语料库中包含三个句子：① I like deep learning.② I like NLP.③ I enjoy flying.通过滑动窗口可得到如下共现矩阵：共现矩阵已经可以看成是一个包含词向量的矩阵，但是维度太高，并且具有稀疏性。因此通...
2019-04-03 12:14:17
1124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人