Word embedding算法

Word embedding模型

计数模型是通过使用词共现矩阵把相似的词嵌入到同一个向量空间，通常先选择上下文环境，进行权重计算构建共现矩阵，随后运用相似度计算方法构建相似度矩阵，最后对矩阵进行分解，将每个词映射到一个较小维度的向量空间中，完成Word embedding模型的构建。

流程如下：

 

 

共现矩阵：

Ｃ（共现矩阵）的行向量是单词空间，列向量是上下文空间，Ｃ 的行列元素
ｗｉｊ代表第 ｉ 个单词和第 ｊ 个上下文环境的关系，一般是单词 ｉ 在环境 ｊ 中出现的次数或者频率。

 

Ｃ 的行向量是单词空间列向量是文档上下文空间，Ｃ 的行列元素 ｗｉｊ代表第ｉ个单词在第 ｊ个文档中的共现权重，基于文档上下文共现矩阵。
如表１所示。

 

Ｃ 的行向量是单词空间，列向量是窗口上下文空间，Ｃ 的行列元素 ｗｉｊ代表第 ｉ 个单词在第 ｊ个单词前后 ｎ 个单词范围内的共现权重，表 ２ 是基于单词窗口的共现矩阵。

 

 

 

权重计算：

而权重一般用来衡量某个特征项在文档中的重要程度或者区分能力的强弱。

TF-IDF：

权重计算方法，用以评估一个字或一个词对一篇文档或一个语料库中的其中一篇文档的重要程度,字词的重要性随着它在文档中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降，公式定义为

 

PMI:

PMI这个指标来衡量 ２ 个事物之间的相关性(比如 ２ 个词)

 

词之间相似度计算：

 

 

       

转载于:https://www.cnblogs.com/yinghuali/p/7477420.html