Word2Vec 练习题
y o ^ = P ( o ∣ c ) = e x p ( u o T v c ) ∑ w = 1 V e x p ( u w T v c ) \widehat{y_o}=P(o|c)=\frac{exp(u_o^Tv_c)}{\sum^V_{w=1}exp(u_w^Tv_c)} yo
=P(o∣c)=∑w=1Vexp(uwTvc)exp(uoTvc)
o o o:输出词汇索引
c c c:中心词汇索引
v c v_c vc:中心词汇向量
u o u_o uo:输出词汇向量
设d为词向量维度,由图可知:
θ = U T v c ∈ W × 1 \theta=U^Tv_c\in{W\times1} θ=UTvc∈
CS224d Assignment Word2Vec
最新推荐文章于 2024-07-12 00:43:05 发布
本文详细探讨了Word2Vec模型,包括Word2Vec的数学公式和损失函数。给出了在Skipgram和CBOW模型中,关于词汇向量的梯度计算,并通过简单图表对比两种模型的区别。
摘要由CSDN通过智能技术生成