GloVe: Global Vectors for Word Representation-学习笔记

最新推荐文章于 2025-02-04 05:00:00 发布

ChanYeol666

最新推荐文章于 2025-02-04 05:00:00 发布

阅读量386

点赞数 1

分类专栏：论文笔记文章标签：人工智能自然语言处理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_37385720/article/details/109016371

版权

GloVe是一种无监督学习算法，旨在通过全局词频矩阵学习单词向量，捕捉词汇间的语义关系。其目标是使词向量的点积等于共现概率的对数，结合了count-based和direct prediction方法。在PyTorch中，nn.Embedding权重用标准正态分布初始化。GloVe相对于其他模型如TextCNN、RNN、LSTM和Transformer，有不同的优势和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GloVe: Global Vectors for Word Representation

GloVe是一种用于获取单词向量表示的无监督学习算法。
用于最近邻居评估的相似性度量产生一个量化两个词的相关性的单个标量。
两个词向量之间的向量差是一组更大的判别数的自然而简单的候选者。 GloVe的设计目的是使这样的矢量差尽可能多地捕获两个单词并列所指定的含义。
尽管TextCNN能够在很多任务里面能有不错的表现，但CNN有个最大问题是固定 filter_size 的视野，一方面无法建模更长的序列信息，另一方面 filter_size 的超参调节也很繁琐。
Bi-directional RNN（实际使用的是双向LSTM）从某种意义上可以理解为可以捕获变长且双向的“n-gram” 信息。
Pytorch中nn.Embedding.weight随机初始化方式是标准正态分布，即均值μ=0，方差σ=1的正态分布。
GloVe本质上是具有加权最小二乘目标的对数双线性模型。
GloVe的训练目标是学习单词向量，使其点积等于单词共现概率的对数。
GloVe是将count based* 和 direct prediction**的优势结合起来提出的一种方法，其目标函数如下：J(θ)=

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。