众所周知,tf对tensor的shape的要求非常严格,但是经常在使用embedding layer之后就忘记了输出的tensor的shape是什么样子的了,每次都会再去百度一下,所以专门记录一下。
embedding_lookup
embedding_lookup是直接进行查询,不会进行combiner的。例如:
- idx = [batch_size, 1] 得到的结果将是 [batch_size, 1, embedding_size];
- idx = [batch_size, seq_len] 得到的结果将是 [batch_size, seq_len, embedding_size];
- idx = [batch_size, seq_len_1, seq_len_2] 得到的结果将是 [batch_size, seq_len_1, seq_len_2, embedding_size];
embedding_lookup_sparse
embedding_lookup_sparse因为有一个combiner的设置,所以会对数据维度进行降维,保持的axis是第一维。例如:
- idx = [batch_size, 1] 得到的结果将是 [batch_size, embedding_size];
- idx = [batch_size, seq_len] 得到的结果将是 [batch_size, embedding_size];
- idx = [batch_size, seq_len_1, seq_len_2] 得到的结果将是 [batch_size, embedding_size];
需要注意的点:
1)直接用sparse_tensor进行lookup与转换成dense_tensor之后lookup的结果是不一样的,因为embedding_lookup_sparse是直接跳过了0这个index,但是embedding_lookup是不会跳过0的。所以在构造sparse_tensor的时候,0最好不要是一个有意义的值,这样可以避免对tensor转来转去。
2)combiner不能不指定,即使为None,仍然默认用mean,所以如果要对seq的行为进行lookup,需要转换成dense之后再进行。