【自然语言处理之文本分类】——词嵌入

【自然语言处理之文本分类】——词嵌入

语言基础：词嵌入

在介绍介绍当前热门的 NLP 模型或者文本分类模型之前，现在解释一下NNLM(神经网络语言模型)。

为什么要用词向量

模型的序列的输入，最原始的方法是 One-hot representation，在这种词表示方法中每个词是一个很长的向量，向量的维度等于词表大小(可能是几万到几十万)，只有对应位置上的数字为 1，其余为 0。相当于把每个词顺序编号。这种表示方法无法捕捉词与词之间的相似度以及语义信息，在实际应用中还容易发生维数灾难。

嵌入是一种词语的分布式表示，最早在《Bengio，2001：A Neural Probabilistic Language Model》提出。其基本思想是通过训练将每个词映射成低维实数向量空间中的一个向量(维度可能为几十到几百)，通过实数向量之间的距离(比如余弦相似度、欧氏距离等)来判断他们之间的语义相似度。

词嵌入除了可以研究词语之间的相关性，还能作为下游自然语言处理任务的表示基础，如文本分类、文本聚类、词性标注、情感分析、QA、NER 等。