NLP_词向量表示

整数编码

本质上是降到了一维整数域。

缺点：

1. 无法表达词语之间的关系；
2. 对于模型解释，整数编码可能具有挑战性。

One-hot编码

构建了一个词汇表，其实并没有降维。
缺点：

1. 无法表达词语之间的关系，相关词汇间的泛化能力不强；
2. 对于这种过于稀疏的向量，计算和存储效率不高。

如何理解“无法表达词语之间的关系”

Word Embedding

什么是词嵌入？

定义：自然语言处理（NLP）中语言模型与表征学习技术的统称。

指的是：把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组映射到实数域上的向量。

将单词特征化表示。

优点：

1. 根据特征向量能清晰知道不同单词之间的相似程度；
2. 提高了有限词汇量的泛化能力。

如何理解“泛化能力”

面对陌生的词汇，可以根据特征的相似程度，用词汇表中的单词进行泛化。