1.tf.nn.embedding_lookup()
1.1定义
该函数的具体定义为:
tf.nn.embedding_lookup(params, ids, partition_strategy=‘mod’, name=None, validate_indices=True, max_norm=None)。
常用的是前2个参数params,ids。
1.2 一维的ids
在网上看的许多介绍embedding_lookup()函数功能的,都是认为是根据ids寻找params中的对应表示。鉴于这种ids通常是1维的,该函数通常也被认为是寻找embedding data中的对应ids行下的vector。如下面这个例子
输出c:
输出b:
(该例子转自https://blog.csdn.net/uestc_c2_403/article/details/72779417)
1.3 多维度的ids
而实际上,该函数更应该被理解为一个“拼接”操作。该操作是ids部分的维度+embedding(data)部分的除了第一维后的维度拼接。用例子理解更容易:
该例子转自https://www.jianshu.com/p/abea0d9d2436
再用这个观点看之前的一维的例子,因为ids的性质为[2,],所以“拼接之后的维度为{2,1}。
1.4 深一层的理解
以上只是对于embedding_lookup()的做法在矩阵形状上的理解。更深一层的理解可参考以下文章:
https://blog.csdn.net/laolu1573/article/details/77170407
2.在CNN中的应用
与tf.expand_dims(word_embedding, -1)联合使用可以用于文本应用的CNN中卷积层的输入参数input:Conv2(input,)
embedding=[word_num,word_dim]
input_y=[batch,word_num]
input=tf.expand_dims(tf.nn.embedding_lookup(embedding,input_y),-1),
则input的形状为[batch,word_num,word_dim_,1].