本文详细介绍了Glove词向量模型的公式推导过程，从定义符号开始，通过词向量和共现矩阵的一致性，逐步构建成本函数，并考虑单词之间的关系，简化模型，最终得出损失函数。同时，还提到了矩阵分解方法的缺点及权重项的引入，以适应不同词对的重要性。
定义符号：
X i = ∑ j = 1 N X i , j P i , k = X i , k X i r a t i o i , j , k = P i , k P j , k X_i = \sum_{j=1}^N{X_{i,j}}\\ P_{i,k} = \frac{X_{i,k}}{X_i}\\ ratio_{i,j,k} = \frac{P_{i,k}}{P_{j,k}} Xi=j=1∑NXi,jPi,k=XiXi,kratioi,j,k=Pj,kPi,k
| ratioi,j,k的值 | 单词j,k相关 | 单词j,k不相关 |
|---|---|---|
| 单词i,k相关 | 趋近1 | 很大 |
| 单词i,k不相关 | 很小 | 趋近1 |
推导：
假设已经得到词向量，则词向量和共现矩阵应该具有很好的一致性。假设词向量$v_i ,v_j, v_k$计算 r a t i o i , j , k ratio_{i,j,k} ratioi,j,k的函数为 g ( w i , w j , w k ) g(w_i ,w_j ,w_k) g(wi,wj,wk),则：
P i , k P j , k = r a t i o i , j , k = g ( w i , w j , w k ) \frac{P_{i,k}}{P_{j,k}} = ratio_{i,j,k} = g(w_{i},w_{j},w_{k}) Pj,kPi,k=ratioi,j,k=g(wi
最低0.47元/天 解锁文章
扫一扫
686
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
