skip-gram负采样算法流程
a)
f
o
r
  
i
=
1
  
t
o
  
2
c
:
for \; i =1 \; to \; 2c:
fori=1to2c:
\qquad
i)
e
=
0
e=0
e=0
\qquad
ii)
f
o
r
  
j
=
0
  
t
o
  
n
e
g
：
for \;j= 0 \;to \;neg：
forj=0toneg：
f
=
σ
(
x
w
0
i
T
θ
w
j
)
\qquad \qquad f = \sigma(x_{w_{0i}}^T\theta^{w_j})
f=σ(xw0iTθwj)
g
=
(
y
j
−
f
)
η
\qquad \qquad g = (y_j-f)\eta
g=(yj−f)η
e
=
e
+
g
θ
w
j
\qquad \qquad e = e + g\theta^{w_j}
e=e+gθwj
θ
w
j
=
θ
w
j
+
g
x
w
0
i
\qquad \qquad \theta^{w_j}= \theta^{w_j}+ gx_{w_{0i}}
θwj=θwj+gxw0i
\qquad
iii) 词向量更新：
x
w
0
i
=
x
w
0
i
+
e
\qquad \qquad x_{w_{0i}} =x_{w_{0i}} + e
xw0i=xw0i+e
b)如果梯度收敛，则结束梯度迭代，算法结束，否则回到步骤a继续迭代。
1万+
“相关推荐”对你有帮助么？
-
非常没帮助 -
没帮助 -
一般 -
有帮助 -
非常有帮助
提交
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
