静态词嵌入

记录一下学习最近学习的静态词嵌入。
一、one-hot encoding
1.每个词向量长度等于词库大小
2.除了词对应的位置为1，其他所有位置均为0
3.非常稀疏（维度灾难）
4.无法表示语义
5.无法计算词之间的相似度

二、主题模型

1.LSA/LSI
潜在语义分析/索引，是一种主题模型，是基于奇异值分解(SVD)的方法得到文本主题。下面简单介绍一下SVD，具体看这里吧。
奇异值就是特征值在非方阵中的推广，过程和其类似，具体可以参考上述文章，对于一个m×n的矩阵A，可以分解为下面三个矩阵

而在LSA中，为了降低矩阵的维度到k，SVD的分解可以近似的写为：

我们输入的有m个文本，每个文本有n个词。而Aij则对应第i个文本的第j个词的特征值，这里最常用的是基于预处理后的标准化TF-IDF值。k是我们假设的主题数，一般要比文本数少。SVD分解后，Uil对应第i个文本和第l个主题的相关度。Vjm对应第j个词和第m个词义的相关度。
Σlm对应第l个主题和第m个词义的相关度。（这里m，n可互换含义，最终词向量是U/V中纬度等于词数量*k的那个&#