[NLP论文阅读]A simple but tough-to-beat baseline for sentence embedding

最新推荐文章于 2021-06-10 14:36:44 发布
原创 最新推荐文章于 2021-06-10 14:36:44 发布 · 1.2w 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nlp #阅读 #算法

本文介绍了一种名为WR的无监督句子建模方法，它在句子相似性任务上表现出色，与RNN和LSTM相媲美。WR结合预训练的词向量和PCA/SVD去除无关信息，但情感分析方面略逊一筹，因为词向量对反义词问题敏感度不足。实验结果显示，该算法高效且易于实现，适合大规模无监督学习。

论文原文：A simple but tough-to-beat baseline for sentence embedding

引言

在神经网络泛滥的时候，这篇文章像一股清流，提出了一个无监督的句子建模方法，并且给出了该方法的一些理论解释。通过该方法得到的句子向量，在STS数据集上取得了不输给神经网络的效果。

句子建模算法

作者将该算法称之为WR。
W表示Weighted，意为使用预估计的参数给句中的每个词向量赋予权重。
R表示Removal，意为使用PCA或者SVD方法移除句向量中的无关部分。
Sentence Embedding
输入：
预训练的词向量{ vw:w∈V

最低0.47元/天 解锁文章
(4)A Simple But ToughToBeat Baseline For Sentence Embed
AI天才研究院
08-20 728
作者：禅与计算机程序设计艺术 1.简介 自然语言处理领域的任务之一就是给输入文本生成相应的高维向量表示（embedding）。一般来说，最简单的代表句子的embedding方法就是传统词袋模型（bag of words model）和TF-IDF模型（term frequency inverse doc
『论文阅读』SIF：一种简单却难以打败的句子嵌入方法
酒狂的博客
04-08 6025
SIF平滑逆频率论文阅读笔记。计算句子中单词向量的加权平均值，然后删除平均向量在其第一个主成分上的投影（“公共成分去除”）。
A Simple but Tough-to-Beat Baseline for Sentence Embeddings.pdf
04-08
SIF：一种简单却难以打败的句子嵌入方法 文章导航https://blog.csdn.net/qq_42491242/article/details/105381771
论文阅读：《a simple but tough-to-beat baseline for sentence embeddings》
10-24 1097
https://openreview.net/pdf?id=SyK00v5xx 原文：http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html 句子Embedding动机 虽然这节课一直在讲词向量可以编码词的意思，但自然语言处理真正关心的是整个句子的意思。 如果我们能够拿到句子的向量表示，则可以方便地用内积计算相似度： 还可以在这些句子...
A Simple but Tough-to-Beat Baseline for Sentence Embeddings阅读笔记
Leokb24的博客
05-08 884
文章目录概述算法实验1. Textual Similarity Tasks2. Supervised Tasks 概述 一篇17年的论文, 采用无监督的方法. 主要思想可以概括为两步: 利用词嵌入方法，通过词向量的线性的加权组合对一个句子进行编码 利用奇异向量求出最终的句向量。 算法 实验 1. Textual Similarity Tasks 数据集 all the datasets f...
[NLP]论文笔记-A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
CristianoJason的博客
09-15 3319
概括来说，这篇文章主要设计了一种无监督的 sentence embedding 方法，即如何加权句子中的每个单词从而计算得到整个句子的向量表示，所设计的模型在文本相似度、文本蕴含、文本分类等任务上表现的都很好。文章中大量篇幅涉及到所提出的加权机制，具体在下面的笔记中会介绍。
论文解读-SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
丘文波的自然语言处理学习
06-10 431
1.论文摘要 该论文是在 ICLR 2017提出的一个无监督的句子嵌入的方法：使用维基百科等无标签的语料训练得到词向量，然后通过词向量加权平均获得句子表征向量。然后使用PCA/SVD再对句向量进行一次修正得到最终得句向量。 2. 计算句子表征的算法 先来看下论文中提出的句子表征的算法： 上面的算法过程中有两个重点： • 为什么可以通过句子中的单词向量加权平均来获得句子初始的向量的表征？（公式(1)） • 为什么得到句子的初始向量之后要做一个修正（公式(2)） 论文围绕着这两个问题进行了解答。 3. 随机
[NLP论文阅读]A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
神经元维修艺术
11-12 1167
本文是阅读 ICLR 会议论文 “A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS” 所作笔记。 论文 GitHub：https://github.com/PrincetonML/SIF Abstract 本文提出了一种基于无监督学习的 Sentence Embedding 方法，其效果超过了目前（截止论文发表）主流的 Sent...
论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
chloe_ou的博客
09-26 1459
《a simple but tough-to-beat baseline for sentence embeddings》published at ICLR 2017.   ICLR会议的论文总是创意层出不穷，相信将来该会议的地位越来越受人们尊重。   本文提出了一个简单但是完胜现在已有的很多方法的sentence embedding方法。作者称之为WR方法，W stands for we...
读论文有感:A Sample But Tough-To-Beat Baseline For Sentence Embedding
SYSU_BOND的博客
04-02 2077
该算法有着一定的意义，即通过分析，对Word Embeddings进行加权平均，得到比单纯平均或以TF-IDF为权值的平均向量更好的结果，因计算简单，如作者所述，作为一个更好的Baseline是很好的选择不过该论文的一些说法有点言过其实，甚至进行了一点小tricks，比如说比supervised 的LSTM有着更好的效果这一说法，有着一定的争议，因为Sentence Embedding实则也是一种...
[paper notebook] A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
Joyeishappy的博客
11-30 302
作者给出的实现代码：github 周末整理具体内容...
论文｜Sentence2Vec & GloVe 算法原理、推导与实​现
Thinkgamer博客
12-22 1万+
万物皆可Embedding系列会结合论文和实践经验进行介绍，前期主要集中在论文中，后期会加入实践经验和案例，目前已更新： 万物皆可Vector之语言模型：从N-Gram到NNLM、RNNLM 万物皆可Vector之Word2vec：2个模型、2个优化及实战使用 Item2vec中值得细细品味的8个经典tricks和thinks Doc2vec的算法原理、代码实现及应用启发 Sentence2Vec & GloVe 算法原理、推导实与现 后续会持续更新Embedding相关的文章，欢迎持续关注「搜
论文阅读 A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SEN- TENCE EMBEDDINGS
weixin_30613343的博客
10-14 462
这篇论文提出了SIF sentence embedding方法, 作者提供的代码在Github. 引入 作为一种无监督计算句子之间相似度的方法, sif sentence embedding使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得到整个句子的embedding向量. 再使用句子向量进行相似度的计算. 在这篇论文之前, 也有与这篇文章思路非常相近的思路,...
cips2016+学习笔记︱简述常见的语言表示模型（词嵌入、句表示、篇章表示）
素质云笔记
02-05 1万+
在cips2016出来之前，笔者也总结过种类繁多，类似词向量的内容，自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）事实证明，笔者当时所写的基本跟CIPS2016一章中总结的类似，当然由于入门较晚没有CIPS2016里面说法权威，于是把CIPS2016中的内容，做一个摘录。 CIPS2016 中文信息处理报告《第五章 语言表示与深度学习研究进展、现状及趋势》第三节 技术方法和研
Sentence2Vec模型介绍
walkeao的博客
01-04 1万+
Sentence2VecSentence2Vec 前言 算法介绍 参考文献前言  本文是对论文A Simple but Tough-to-Beat Baseline for Sentence Embeddings中算法的简要描述，具体细节请参考代码实现。算法介绍  1. 对一个句子中所有词的词向量进行加权平均，每个词向量的权重可以表示为aa+p(w)\frac{a}{a+p(w)}，其中aa为参数，
[Paper 学习笔记]PCANet: A Simple Deep Learning Baseline for Image Classification?
Dania的思考与记录
06-28 5298
一、 PCANet简介一种用于图像分类的深度学习网络，用于提取图像中的特征。主要由级联的PCA filters、binary hashing和块直方图构成。相比于RandNet和LDANet，性能更佳，可适用多个数据集，结构和参数设置简单。二、PCANet结构1.结构图如下图所示： N个m×n大小的训练图，所有层中的patch尺寸都是k1×k2，只有PCA filters需要学习输入的图像。2
从compositional到distributed，从无监督到有监督再到多任务学习 —— 漫谈句向量 Sentence Embedding
TangowL
05-27 4442
关于词向量，word embedding，研究相对较早，存在多种表征方式，目前 distributed 方式相对成熟，得到了广泛应用。但从 word 向 sentence、paragraph、document扩展，却仍处于探索阶段，本文尝试对目前主要的研究方向和代表工作进行概述，不会详细介绍模型细节，后续可能有文章继续跟进。 ...
NLP Topic 1 Word Embeddings and Sentence Embeddings
会说话的机器狗
04-15 405
Topic 1 Word Embeddings and Sentence Embeddings cs224n-2019 lecture 1: Introduction and Word Vectors lecture 2: Word Vectors 2 and Word Senses slp chapter 6: Vector Semantics ruder.io/word-embedding...
深度学习：词嵌入Embedding
热门推荐
皮皮blog
07-26 5万+
http://blog.csdn.net/pipisorry/article/details/76095118 词嵌入 词嵌入其实就是将数据的原始表示表示成模型可处理的或者是更dense的低维表示（lz）。 One-hot Embedding 假设一共有个物体，每个物体有自己唯一的id，那么从物体的集合到有一个trivial的嵌入，就是把它映射到中的标准基，这种嵌入叫做On...
text-embedding-ada-002和sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
最新发布
04-23
该模型经过大量高质量数据集训练，能够捕捉细微的语言特征，适用于多种自然语言处理任务。 相比之下，`sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2` 基于 Sentence Transformers 构建，具有较强...
评论 19
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值