参考的资料：
详解TF中的Embedding操作
官网Embedding教程
1.为什么引入Embedding
在对词汇表中单词进行编码时
若使用one-hot编码，存在以下问题：
- 编码效率低下，假设我们的词汇表中有 10,000 个单词。为了对每个单词进行独热编码，我们将创建一个其中 99.99% 的元素都为零的向量。
若使用唯一的数字编码每个单词，则存在以下问题：
- 整数编码是任意的，不会捕捉单词之间的任何关系，比如近义词或相同类型的词可能存在某种联系。
- 对于要解释的模型而言，整数编码颇具挑战。例如，线性分类器针对每个特征学习一个权重。由于任何两个单词的相似性与其编码的相似性之间都没有关系，因此这种特征权重组合没有意义。
因此我们使用Embedding，单词嵌入向量为我们提供了一种使用高效、密集表示的方法，其中相似的单词具有相似的编码。重要的是，我们不必手动指定此编码。嵌入向量是浮点值的密集向量（向量的长度是您指定的参数）。它们是可以训练的参数（模型在训练过程中学习的权重，与模型学习密集层权重的方法相同），无需手动为嵌入向量指定值。8 维的单词嵌入向量（对于小型数据集）比较常见，而在处理大型数据集时最多可达 1024 维。维度更高的嵌入向量可以捕获单词之间的细粒度关系，但需要更多的数据来学习。
2. Embedding的工作原理
Embedding的实质就是全连接层
在TF2中我们建立Embedding的表达式为：
tf.keras.layers.Embedding(
最低0.47元/天 解锁文章
1340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
