词嵌入（一）第一代预训练模型

一直学一直忘一直有新的理解 所以学到哪写到哪 有新的知识和新的理解就努力组织语言复述下来

词嵌入将语义相似的两个单词映射到两个独立但相似的实值向量，因此可以聚集在一起。——词嵌入的过程像一个聚类过程，产生很多相似向量簇

将单词转换成实值向量的过程称为矢量化

Word2Vec 两层神经网络——浅层神经网络
输入是一个文本语料库，生成矢量作为输出。——输出的矢量称为单词的‘特征向量’。将语料库转换成可以被深层神经网络系统理解的数值数据。
是大小为n * n的共词矩阵的分解（压缩）
GloVe== Global vector 建立在Word2Vec基础
Word2Vec通过一个小窗口聚焦于本地单词和局部上下文来预测单词，无法从全局——整个语料库中出现的词的频率中学习；GloVe是基于计数的模型，通过对共现计数矩阵进行降维来学习向量。
词频矩阵的元素代表单词在文档中出现的频率——降维 减少矩阵尺寸
共现计数矩阵——一个单词在语料库的特定上下文的出现次数

word-embedding 是一种上下文无关文法——context-free：

每个token的表示与上下文无关，比如“苹果”这个词在分别表示水果和公司时，对应的word embedding是同样的

#第二代预训练模型 context-aware ——BERT

也就是说“苹果”这个词在分别表示水果和公司时，对应output是不一样的，其中具有代表性的有ELMo[2], GPT[3],
BERT[4]等*