nlp小记-词向量发展史

词向量的发展历史可以追溯到上世纪50年代开始的分布式语义学（Distributional Semantics）研究，但直到近年来，随着深度学习的兴起，词向量才得到了广泛的应用和研究。以下是词向量发展的主要里程碑：

1. 统计语言模型：早期的词向量研究主要基于统计语言模型，其中最著名的是基于N元语法的N-gram模型。这些模型通过统计词的共现频率来表示词之间的语义关系。

2. 主题模型：主题模型如潜在语义分析（Latent Semantic Analysis，LSA）和潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）也为词向量的发展做出了贡献。主题模型通过分析文本中的主题分布，将词语表示为主题的概率分布，从而捕捉到词语之间的语义关系。

3. Word2Vec：在2013年，Google的研究人员提出了Word2Vec模型，这是词向量研究中的重大突破。Word2Vec模型基于神经网络，通过学习词语在上下文中的分布来生成词向量。它提出了两种模型：连续词袋模型（Continuous Bag-of-Words，CBOW）和跳字模型（Skip-gram），并通过训练大规模语料库来得到高质量的词向量。

4. GloVe：2014年，斯坦福大学的研究人员提出了全局向量表示（Global Vectors for Word Representation，GloVe）模型。GloVe模型结合了全局词汇统计信息和局部上下文窗口信息，通过最小化词语共现矩阵的损失函数来生成词向量。

5. Transformer与BERT：2017年，谷歌的研究人员提出了Transformer模型，该模型使用自注意力机制来捕捉句子中的词语之间的关系。Transformer模型在自然语言处理任务中取得了巨大成功，并为后续的预训练模型如BERT（Bidirectional Encoder Representations from Transformers）奠定了基础。

6. 预训练模型：近年来，预训练模型如BERT、GPT（Generative Pre-trained Transformer）、XLNet等的出现，使得词向量的学习更加强大和灵活。这些模型通过在大规模语料库上进行无监督预训练，学习到了丰富的语言表示，进一步提高了词向量的质量和应用范围。

综上所述，词向量的发展历史经历了从传统统计模型到基于神经网络的模型的演进，从基于共现统计到基于上下文的表示学习，以及从单词级别到句子和文档级别的表示学习。这些发展为自然语言处理任务提供了更好的基础和工具。