用于文本的CNN（tensorflow实现）——tf.nn,embedding_lookup()应用

1.tf.nn.embedding_lookup()

1.1定义

该函数的具体定义为：
tf.nn.embedding_lookup(params, ids, partition_strategy=‘mod’, name=None, validate_indices=True, max_norm=None)。
常用的是前2个参数params,ids。

1.2 一维的ids

在网上看的许多介绍embedding_lookup()函数功能的，都是认为是根据ids寻找params中的对应表示。鉴于这种ids通常是1维的，该函数通常也被认为是寻找embedding data中的对应ids行下的vector。如下面这个例子

输出c:

输出b:

（该例子转自https://blog.csdn.net/uestc_c2_403/article/details/72779417）

1.3 多维度的ids

而实际上，该函数更应该被理解为一个“拼接”操作。该操作是ids部分的维度+embedding(data)部分的除了第一维后的维度拼接。用例子理解更容易：



该例子转自https://www.jianshu.com/p/abea0d9d2436
再用这个观点看之前的一维的例子，因为ids的性质为[2,]，所以“拼接之后的维度为{2,1}。

1.4 深一层的理解

以上只是对于embedding_lookup()的做法在矩阵形状上的理解。更深一层的理解可参考以下文章：
https://blog.csdn.net/laolu1573/article/details/77170407

2.在CNN中的应用

与tf.expand_dims(word_embedding, -1)联合使用可以用于文本应用的CNN中卷积层的输入参数input:Conv2(input,)
embedding=[word_num,word_dim]
input_y=[batch,word_num]
input=tf.expand_dims(tf.nn.embedding_lookup(embedding,input_y),-1),
则input的形状为[batch,word_num,word_dim_,1].