读论文有感:A Sample But Tough-To-Beat Baseline For Sentence Embedding

最新推荐文章于 2023-08-20 22:21:26 发布
最新推荐文章于 2023-08-20 22:21:26 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： 论文阅读 文章标签： 句向量 Sentence Embedding 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SYSU_BOND/article/details/79785855
版权

该算法有着一定的意义，即通过分析，对Word Embeddings进行加权平均，得到比单纯平均或以TF-IDF为权值的平均向量更好的结果，因计算简单，如作者所述，作为一个更好的Baseline是很好的选择

不过该论文的一些说法有点言过其实，甚至进行了一点小tricks，比如说比supervised 的LSTM有着更好的效果这一说法，有着一定的争议，因为Sentence Embedding实则也是一种特征提取。神经网络虽然功能强大，但是最怕就是“无米之炊”，数据不对或不好，那么表现往往不如人为地根据任务进行的特征抽取。而本文就是有这样的小tricks，用SentencePair这种任务数据去训练LSTM，恩，我觉得该任务本身目前并不能我们所愿的去捕捉我们想要的信息，而单纯的LSI（词频矩阵进行SVD得到句向量）或LDA（Topic Model）也能达到很好的性能。这是人为抽取特征与自动学习的特征的争执之处，更好的任务和数据能够让LSTM学得更好的特征，有着更大的发挥潜力。

还有关于训练语料部分，我看了下，似乎文中的方法会先对测试数据过一遍调参？而有监督的方法其他方法不能针对所给语料进行参数调整？如果是这样的话，我想这也是实验结果有着差距的重要原因

SYSU_BOND
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[NLP论文阅读]A simple but tough-to-beat baseline for sentence embedding
jx00109的博客
05-24 1万+
在神经网络泛滥的时候，这篇文章像一股清流，提出了一个无监督的句子建模方法，并且给出了该方法的一些理论解释。通过该方法得到的句子向量，在STS数据集上取得了不输给神经网络的效果。
A Simple but Tough-to-Beat Baseline for Sentence Embeddings.pdf
04-08
SIF：一种简单却难以打败的句子嵌入方法 文章导航https://blog.csdn.net/qq_42491242/article/details/105381771
论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
chloe_ou的博客
09-26 1328
《a simple but tough-to-beat baseline for sentence embeddings》published at ICLR 2017.   ICLR会议的论文总是创意层出不穷，相信将来该会议的地位越来越受人们尊重。   本文提出了一个简单但是完胜现在已有的很多方法的sentence embedding方法。作者称之为WR方法，W stands for we...
[NLP]论文笔记-A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
CristianoJason的博客
09-15 3174
概括来说，这篇文章主要设计了一种无监督的 sentence embedding 方法，即如何加权句子中的每个单词从而计算得到整个句子的向量表示，所设计的模型在文本相似度、文本蕴含、文本分类等任务上表现的都很好。文章中大量篇幅涉及到所提出的加权机制，具体在下面的笔记中会介绍。
论文阅读：《a simple but tough-to-beat baseline for sentence embeddings》
10-24 939
https://openreview.net/pdf?id=SyK00v5xx 原文：http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html 句子Embedding动机 虽然这节课一直在讲词向量可以编码词的意思，但自然语言处理真正关心的是整个句子的意思。 如果我们能够拿到句子的向量表示，则可以方便地用内积计算相似度： 还可以在这些句子...
tough-cookie:RFC6265 Cookies和CookieJar for Node.js
04-27
Cookies和CookieJar for Node.js 概要 var tough = require ( 'tough-cookie' ) ; var Cookie = tough . Cookie ; var cookie = Cookie . parse ( header ) ; cookie . value = 'somethingdifferent' ; header = ...
axios-cookiejar-support:添加对cookie的强力cookie支持
04-28
axios-cookiejar-支持 为添加支持。 安装 $ npm i axios tough-cookie axios-cookiejar-support - 或者 - $ npm i axios tough-cookie @3846masa/axios-cookiejar-support # Same as ...const tough = require ( 'to
tough-cookie-framework:私人学习项目
06-19
Cookie Store 框架hard-cookie-framework 是一个tough-cookie 模块的框架。 有关更多信息，请参阅。安装 $ npm install tough-cookie-framework选项options ：一个 javascript 对象。 { key : string , get : ...
A-very-tough-little-program.zip_little
09-22
标题"A-very-tough-little-program.zip_little"暗示我们关注的是一款小型但功能强大的程序。这个描述"一个非常坚韧的小程序"进一步确认了这一点，它可能是指一个占用资源少、但性能强大或能处理复杂任务的应用。标签...
论文解读-SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
丘文波的自然语言处理学习
06-10 281
1.论文摘要 该论文是在 ICLR 2017提出的一个无监督的句子嵌入的方法：使用维基百科等无标签的语料训练得到词向量，然后通过词向量加权平均获得句子表征向量。然后使用PCA/SVD再对句向量进行一次修正得到最终得句向量。 2. 计算句子表征的算法 先来看下论文中提出的句子表征的算法： 上面的算法过程中有两个重点： • 为什么可以通过句子中的单词向量加权平均来获得句子初始的向量的表征？（公式(1)） • 为什么得到句子的初始向量之后要做一个修正（公式(2)） 论文围绕着这两个问题进行了解答。 3. 随机
A Simple but Tough-to-Beat Baseline for Sentence Embeddings阅读笔记
Leokb24的博客
05-08 734
文章目录概述算法实验1. Textual Similarity Tasks2. Supervised Tasks 概述 一篇17年的论文, 采用无监督的方法. 主要思想可以概括为两步: 利用词嵌入方法，通过词向量的线性的加权组合对一个句子进行编码 利用奇异向量求出最终的句向量。 算法 实验 1. Textual Similarity Tasks 数据集 all the datasets f...
(4)A Simple But ToughToBeat Baseline For Sentence Embed
最新发布
禅与计算机程序设计艺术
08-20 563
作者：禅与计算机程序设计艺术 1.简介 自然语言处理领域的任务之一就是给输入文本生成相应的高维向量表示（embedding）。一般来说，最简单的代表句子的embedding方法就是传统词袋模型（bag of words model）和TF-IDF模型（term frequency inverse doc
[NLP论文阅读]A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
神经元维修艺术
11-12 981
本文是阅读 ICLR 会议论文 “A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS” 所作笔记。 论文 GitHub：https://github.com/PrincetonML/SIF Abstract 本文提出了一种基于无监督学习的 Sentence Embedding 方法，其效果超过了目前（截止论文发表）主流的 Sent...
论文｜Sentence2Vec & GloVe 算法原理、推导与实​现
Thinkgamer博客
12-22 1万+
万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新： 万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM 万物皆可Vector之Word2vec：2个模型、2个优化及实战使用 Item2vec中值得细细品味的8个经典tricks和thinks Doc2vec的算法原理、代码实现及应用启发 Sentence2Vec & GloVe 算法原理、推导实与现 后续会持续更新Embedding相关的文章，欢迎持续关注「搜
论文阅读 A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SEN- TENCE EMBEDDINGS
weixin_30613343的博客
10-14 390
这篇论文提出了SIF sentence embedding方法, 作者提供的代码在Github. 引入 作为一种无监督计算句子之间相似度的方法, sif sentence embedding使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得到整个句子的embedding向量. 再使用句子向量进行相似度的计算. 在这篇论文之前, 也有与这篇文章思路非常相近的思路,...
简单有效的人体姿态估计：Sample Baseline(ECCV 2018)
m0_63642362的博客
01-22 1176
Sample Baseline(ECCV 2018) 的Paddle实现，在MPII数据集上达到88.81的Mean PCK。项目获得第五届论文复现赛冠军。
Sentence2Vec模型介绍
walkeao的博客
01-04 1万+
Sentence2VecSentence2Vec 前言 算法介绍 参考文献前言  本文是对论文A Simple but Tough-to-Beat Baseline for Sentence Embeddings中算法的简要描述，具体细节请参考代码实现。算法介绍  1. 对一个句子中所有词的词向量进行加权平均，每个词向量的权重可以表示为aa+p(w)\frac{a}{a+p(w)}，其中aa为参数，
cips2016+学习笔记︱简述常见的语言表示模型（词嵌入、句表示、篇章表示）
热门推荐
素质云笔记
02-05 1万+
在cips2016出来之前，笔者也总结过种类繁多，类似词向量的内容，自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）事实证明，笔者当时所写的基本跟CIPS2016一章中总结的类似，当然由于入门较晚没有CIPS2016里面说法权威，于是把CIPS2016中的内容，做一个摘录。 CIPS2016 中文信息处理报告《第五章 语言表示与深度学习研究进展、现状及趋势》第三节 技术方法和研
从compositional到distributed，从无监督到有监督再到多任务学习 —— 漫谈句向量 Sentence Embedding
TangowL
05-27 4218
关于词向量，word embedding，研究相对较早，存在多种表征方式，目前 distributed 方式相对成熟，得到了广泛应用。但从 word 向 sentence、paragraph、document扩展，却仍处于探索阶段，本文尝试对目前主要的研究方向和代表工作进行概述，不会详细介绍模型细节，后续可能有文章继续跟进。 ...
tough-cookie
07-28
对于"tough-cookie"这个问题，根据提供的引用内容，我没有找到与"tough-cookie"相关的信息。请提供更多的上下文或者详细的问题描述，以便我能够更好地回答你的问题。 #### 引用[.reference_title] - *1* *2* *3* ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值