通俗理解glove词向量,较word2vec的区别

写得这么通俗易懂,不仅是公式推导(虽然这个也没啥推导的),加入例子更好理解整个过程。整个过程相较于word2vec的训练过程来说,只是对真值做了改变和对损失函数的推导过程,当然里面也有一些巧妙的思路,不仅仅是凑巧。还有就是较word2vec,glove利用了全局信息,使其在训练时收敛更快,训练周期较Word2vec较短且效果更好。

实际我觉得这里作者发现的规律还是存在问题的,比值约等于1时,存在两种情况,P(i,k)P(j,k)都很大或者很小,很大表明单词i,k和j,k相关性很高,反之则很低,但很大和很小只是相对的,单纯的给两个数值我们并不能判断它们之间的相关性如何。P(i,k)=0.6,P(i,k)=3.6我们只能说明后者比前者相关性大,但后者相关性有多大???我们并不知道。仍需要统计普遍规律来设定相应的阈值。

如有疑问和错误,敬请指正

同时简介了其他作者的博客,共同学习。

  • 5
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
Word2Vec的基本原理: Word2Vec是一个用于将单词表示为向量的模型,它通过分析文本中单词的上下文关系来生成这些向量。Word2Vec模型包括两个子模型:CBOW和Skip-gram。CBOW模型通过上下文单词来预测目标单词,Skip-gram模型则通过目标单词来预测上下文单词。在训练过程中,Word2Vec模型将单词表示为密集的向量,这些向量捕捉到了单词之间的语义关系。 Word2Vec的优点: 1. 训练速度较快,可以处理大规模文本数据。 2. 生成的词向量具有很好的语义关系,可以用于语义分析、情感分析等任务。 3. 可以通过简单的向量运算得到一些有趣的结果,例如king-man+woman=queen。 Word2Vec的缺点: 1. 对于一些罕见的单词,可能会出现过拟合的现象。 2. 无法处理多义词的情况。 Glove词向量的基本原理: Glove是一种基于全局词汇的统计信息的词向量模型,它通过对词汇共现矩阵进行分解来生成词向量。在训练过程中,Glove模型考虑了每个单词在上下文中出现的频率以及每个单词与其他单词之间的共现频率。通过最小化损失函数,Glove模型得到了每个单词的向量表示。 Glove词向量的优点: 1. 可以处理多义词的情况。 2. 对于罕见单词的处理效果比Word2Vec好。 3. 生成的词向量具有很好的语义关系,可以用于语义分析、情感分析等任务。 Glove词向量的缺点: 1. 训练速度相对较慢,需要处理大量的共现矩阵。 2. 无法通过简单的向量运算得到有趣的结果,例如king-man+woman=queen。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值