关于tf中取embedding的小记录

众所周知，tf对tensor的shape的要求非常严格，但是经常在使用embedding layer之后就忘记了输出的tensor的shape是什么样子的了，每次都会再去百度一下，所以专门记录一下。

embedding_lookup

embedding_lookup是直接进行查询，不会进行combiner的。例如：

• idx = [batch_size, 1] 得到的结果将是 [batch_size, 1, embedding_size]；
• idx = [batch_size, seq_len] 得到的结果将是 [batch_size, seq_len, embedding_size]；
• idx = [batch_size, seq_len_1, seq_len_2] 得到的结果将是 [batch_size, seq_len_1, seq_len_2, embedding_size]；

embedding_lookup_sparse

embedding_lookup_sparse因为有一个combiner的设置，所以会对数据维度进行降维，保持的axis是第一维。例如：

• idx = [batch_size, 1] 得到的结果将是 [batch_size, embedding_size]；
• idx = [batch_size, seq_len] 得到的结果将是 [batch_size, embedding_size]；
• idx = [batch_size, seq_len_1, seq_len_2] 得到的结果将是 [batch_size, embedding_size]；

需要注意的点：
1）直接用sparse_tensor进行lookup与转换成dense_tensor之后lookup的结果是不一样的，因为embedding_lookup_sparse是直接跳过了0这个index，但是embedding_lookup是不会跳过0的。所以在构造sparse_tensor的时候，0最好不要是一个有意义的值，这样可以避免对tensor转来转去。
2）combiner不能不指定，即使为None，仍然默认用mean，所以如果要对seq的行为进行lookup，需要转换成dense之后再进行。