[NLP论文阅读]Siamese CBOW: OptimizingWord Embeddings for Sentence Representations

最新推荐文章于 2022-12-22 23:45:00 发布
最新推荐文章于 2022-12-22 23:45:00 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： paper阅读 文章标签： nlp 阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_31188625/article/details/73611758
版权

论文原文: Siamese CBOW: OptimizingWord Embeddings for Sentence Representations

引言

前段时间看了一篇Siamese LSTM（孪生LSTM）用于生产句子表示的论文，这次又看到了这一篇文章，感觉也很有意思，这篇文章是借鉴了CBOW模型的想法提出了Siamese CBOW模型，并且取得了不错的效果。

主要内容

作者在文中提到，现在有很多生成句子表示的方法都是将现有的词向量进行average，那么我们可以在训练的时候就将average融入其中，尝试通过这样的方法来得到用于表示句子的词向量。

数据

Toronto Book Corpus：这是一个很庞大的语料库，包括了74,004,228句已经预处理好的句子，这些句子中含有1,057,070,918个tokens（在实验中，将词频限制在5以上，共有315,643个tokens），它们的来源是7,087本不同的书籍。这些句子前后连贯，就是完整的小说文章，仅在文章和文章之间会出现不连贯（可以忽略不计，毕竟大多数句子意思上还是连贯的）。

模型

SiameseCBOW模型
模型会初始化一个词向量矩阵W，随着训练的进行会对W进行更新。

输入层：
以单词为单位输入。
对于语录库中的每一个 si ，其前一句 si−1 以及后一句

最低0.47元/天 解锁文章
左脚能拉小提琴
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
谈谈Word2Vec的CBOW模型
国际_新生Blog
11-22 1万+
0x00 背景 最近在做毕设，需要使用Google的word2vec。查阅了相关资料，总结后，写下这篇。 注，本文大多取自以下内容： cbow例子，取自知乎，已取得答主同意 word2vec数学原理详解 word2vec今生前世 0X01 简介 word2vec是Google与2013年开源推出的一个用于获取word vecter的工具包，利用神经...
Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
lpty的博客
04-15 1067
引言 Siamese CBOW，来自Tom Kenter等的于2016年发的论文：Siamese CBOW: Optimizing Word Embeddings for Sentence Representations 作者提到，当前的很多句向量的表示方法都是简单的用词向量的加和平均，这种方法表现出一定的有效性，但是并没有针对特定任务的句向量进行优化的方法。 因此本文提出一种训练句向量的方法，借...
论文学习：基于Hierarchical Softmax的CBOW模型
qq_41297934的博客
03-30 758
看到一篇写的非常好的关于 word2vec 文章《word2vec中的数学原理详解》，本来想着看完之后按自己对知识的整理做一下记录，但是觉得原文作者（peghoty）写的太好了，这里按作者写作逻辑记录一下个人的学习笔记吧。
NLP经典论文：Word2vec、CBOW、Skip-gram 笔记
sinat_39448069的博客
11-11 2614
《Bag of Tricks for Efficient Text Classification》
NLP之Word2Vec【CBOW/Skip-Gram】：《Efficient Estimation of Word Representations in Vector Space向量空间中词表示的有
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-15 1万+
​ NLP之Word2Vec【CBOW/Skip-Gram】：《Efficient Estimation of Word Representations in Vector Space向量空间中词表示的有效估计》翻译与解读 《Efficient Estimation of Word Representations in Vector Space》翻译与解读 地址 论文：https://arxiv.org/abs/1301.3781 时间 2013年1月16日 作者 Googl
Dynamic Meta-Embeddings for Improved Sentence Representations.pdf
03-29
While one of the first steps in many NLP systems is selecting what pre-trained word embeddings to use, we argue that such a step is better left for neural networks to figure out by themselves. To ...
NLP：Deep contextualized word representations.pdf
04-21
Deep contextualized word representations.pdf这篇文章主要是用pretrained bidirectional language model 来学你所需任务中的词向量的，这样做的好处是现在所用的词向量是有你任务中语料的上下文信息的。拿word2vec...
自然语言处理NLP-Word Embeddings-ZH1.1.pptx
12-19
Nvidia dli中 自然语言处理的PPT 作为初学者，可以认真学习 进行入门，非常不错的材料 给大家进行分享，值得拥有
A Simple but Tough-to-Beat Baseline for Sentence Embeddings.pdf
04-08
SIF：一种简单却难以打败的句子嵌入方法 文章导航https://blog.csdn.net/qq_42491242/article/details/105381771
论文研究-AJWE: Jointly Learning Chinese Word Embeddings with Heterogeneous Attention.pdf
08-17
基于多种Attention的中文词向量表示方法，刘杰，王玉龙，文本表示是自然语言处理中的基础工作。利用次词信息来提升词向量的质量已经是非常流行的，尤其像中文这样的表意文字。已有的中文
SiameseLSTM论文阅读及其Tensorflow实现
jx00109的博客
05-24 1万+
原文作者主要为针对短语/句子/序列的相似性比较提出了一种评价模型——Siamese LSTM（孪生网络）。该模型是输入为句子对，输出为输入句子对的相似性得分（得分为1-5）。该模型在SemEval 2014数据集上取得了state-of-art的结果。
CBOW(Continuous Bag-of-Words)模型原理
solitude23的博客
05-25 3814
原文在这里，总结一下有关CBOW模型的原理，代码是搬运的。Skip-gram模型与之类似，就不展开详细说明了。有理解不正确的地方请指正。 模型架构 CBOW模型包含三层：输入层，投影层，输出层。与NNML相比，去掉了隐藏层。 CBOW是根据上下文预测中心词，有点类似于完形填空。上下文的多少是个超参数，可以自己调整。 在构建数据集时，根据CBOW的特点，一般是将上下文当作输入，中心词当作标签。 训练时，首先随机初始一个矩阵C∈R∣V∣×dimC\in R^{|V|\times dim}C∈R∣V∣×dim，
孪生网络图像相似度_孪生网络（Siamese Network）
weixin_39613951的博客
11-23 1942
1，概述在NLP中孪生网络基本是用来计算句子间的语义相似度的。其结构如下在计算句子语义相似度的时候，都是以句子对的形式输入到网络中，孪生网络就是定义两个网络结构分别来表征句子对中的句子，然后通过曼哈顿距离，欧式距离，余弦相似度等来度量两个句子之间的空间相似度。孪生网络又可以分为孪生网络和伪孪生网络，这两者的定义：孪生网络：两个网络结构相同且共享参数，当两个句子来自统一领域且在结构上有很大的相似度时...
CBOW和Skip-Gram模型介绍及Python编程实现
weixin_50706330的博客
10-17 3442
CBOW和Skip-Gram模型介绍及Python编程实现
自然语言处理——CBOW模型
jmhIcoding
10-14 5879
CBOW一个用于快速训练得到词向量的神经网络模型，它的核心原理是中心词的前R个词和后R个词来预测中心词。 它的网络模型相比NNLM模型来说，最大的变化是直接去除隐层的非线性激活过程，以此来加速网络的训练速度。 CBOW的输入： 假设中心词wiw_{i}wi​的上下文C(wi)={wj∣j∈[i−R,i)∩[i+1,i+R)}C(w_{i})=\{w_{j}|j \in [i-R,i) \cap [...
【AI理论学习】理解词向量、CBOW与Skip-Gram模型
小哲的博客
12-22 1671
word2vec是google在2013年推出的一个NLP工具，它的特点是**将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系**。在正式讲解 word2vec 前，还需要对一些基本概念有所了解。CBOW模型，Skip-gram模型
Word2vec之CBOW 模型
m0_45283671的博客
01-02 2046
什么是 Word2vec? NLP 里的词语，是人类的抽象总结，是符号形式的（比如中文、英文、拉丁文等等），所以需要把他们转换成数值形式，或者说——嵌入到一个数学空间里，这种嵌入方式，就叫词嵌入（word embedding)，而 Word2vec，就是词嵌入（ word embedding) 的一种。 在 NLP 中，f(x)->y，把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的语言模型，这个模型的目的，就是判断 (x,y) 这个样本，是否符
CBOW最强理解
热门推荐
啊噗啊噗
07-25 4万+
翻译自：https://iksinc.online/tag/continuous-bag-of-words-cbow/ 向量空间模型在信息检索中是众所周知的，其中每个文档被表示为向量。矢量分量表示文档中每个单词的权重或重要性。使用余弦相似性度量计算两个文档之间的相似性。 尽管对单词使用矢量表示的想法也已经存在了一段时间，但是对于嵌入单词的技术，将单词映射到向量的技术，最近一直在飙升。其中一个驱...
浅谈Word2vec
SCAU_Jimmy的专栏
01-13 2154
前段时间做过一个NLP方面的比赛，以及最近的实习，都用到了Word2vec，下面就简单谈一下这个工具吧，更深的数学原理可以参考Mikolov的原始论文。 Word2vec是Google于2013年开源的一个词向量工具，将原始文本转化成词向量的表达形式。其基本思想是：通过训练将每个词映射成K维的实数特征向量，这样一来，词与词之间的相似度就可以用余弦距离或者欧式距离来衡量了，相比传统的one-hot
sentence-bert: sentence embeddings using siamese bert-networks emnlp
最新发布
04-30
该技术在自然语言处理领域中具有广泛的应用，并且与传统的词向量相比，它提供了更丰富和有趣的语义信息。 在这个技术中，双塔BERT网络被用来生成两个句子之间的相似性分数，这对于许多任务都非常有用。常见的应用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值