GloVe: Global Vectors for Word Representation-学习笔记

最新推荐文章于 2024-04-27 15:08:08 发布

VIP文章 ChanYeol666

最新推荐文章于 2024-04-27 15:08:08 发布

阅读量283

点赞数 1

分类专栏：论文笔记文章标签：人工智能自然语言处理

本文链接：https://blog.csdn.net/qq_37385720/article/details/109016371

版权

GloVe是一种用于获取单词向量表示的无监督学习算法。
用于最近邻居评估的相似性度量产生一个量化两个词的相关性的单个标量。
两个词向量之间的向量差是一组更大的判别数的自然而简单的候选者。 GloVe的设计目的是使这样的矢量差尽可能多地捕获两个单词并列所指定的含义。
尽管TextCNN能够在很多任务里面能有不错的表现，但CNN有个最大问题是固定 filter_size 的视野，一方面无法建模更长的序列信息，另一方面 filter_size 的超参调节也很繁琐。
Bi-directional RNN（实际使用的是双向LSTM）从某种意义上可以理解为可以捕获变长且双向的“n-gram” 信息。
Pytorch中nn.Embedding.weight随机初始化方式是标准正态分布，即均值μ=0，方差σ=1的正态分布。
GloVe本质上是具有加权最小二乘目标的对数双线性模型。
GloVe的训练目标是学习单词向量，使其点积等于单词共现概率的对数。
GloVe是将count based* 和 direct prediction**的优势结合起来提出的一种方法，其目标函数如下：J(θ)=。其中

关注