GloVe model
单词表示模型：GloVe，用于全局向量，全局语料的统计信息直接由模型获得。
符号
X X X：词共现矩阵
X i j X_{ij} Xij：单词 j j j出现在单词 i i i的上下文中的次数。
X i = ∑ k X i k X_i=\sum_kX_{ik} Xi=∑kXik：所有出现在单词 i i i的上下文中的单词次数。
P i j = p ( j ∣ i ) = X i j X i P_{ij}=p(j|i)=\frac{X_{ij}}{X_i} Pij=p(j∣i)=XiXij ：单词 j j j出现在单词 i i i的上下文中的概率。
举例：
通过观察图中的比率（第三行）可以看出，当结果大于1时，单词 k k k与ice更相关，当结果小于1时，单词 k k k与steam更相关。
上述论点表明，单词矢量学习的适当起点应该是共现概率的比率而不是概率本身。其中，比率 P i k / P j k P_{ik}/P_{jk} Pik/Pjk取决于单词 i i i、 j j j、 k k k，我们采用最通用的模型形式：
(1) F ( w i , w j , w ~ k ) = P i k P j k F(w_i,w_j,\tilde{w}_k)=\frac{P_{ik}}{P_{jk}}\tag{1} F(wi,wj,w~k)=Pjk
最低0.47元/天 解锁文章
扫一扫
1130
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
