[NLP论文阅读]A simple but tough-to-beat baseline for sentence embedding

最新推荐文章于 2021-06-10 14:36:44 发布
VIP文章 最新推荐文章于 2021-06-10 14:36:44 发布
阅读量1.1w 收藏 23
点赞数 4
分类专栏： paper阅读 文章标签： nlp 阅读 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_31188625/article/details/72677088
版权

论文原文：A simple but tough-to-beat baseline for sentence embedding

引言

在神经网络泛滥的时候，这篇文章像一股清流，提出了一个无监督的句子建模方法，并且给出了该方法的一些理论解释。通过该方法得到的句子向量，在STS数据集上取得了不输给神经网络的效果。

句子建模算法

作者将该算法称之为WR。
W表示Weighted，意为使用预估计的参数给句中的每个词向量赋予权重。
R表示Removal，意为使用PCA或者SVD方法移除句向量中的无关部分。
Sentence Embedding
输入：
预训练的词向量{ vw:w∈V

最低0.47元/天 解锁文章
左脚能拉小提琴
关注
  • 4
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
专栏目录
(4)A Simple But ToughToBeat Baseline For Sentence Embed
禅与计算机程序设计艺术
08-20 538
作者：禅与计算机程序设计艺术 1.简介 自然语言处理领域的任务之一就是给输入文本生成相应的高维向量表示（embedding）。一般来说，最简单的代表句子的embedding方法就是传统词袋模型（bag of words model）和TF-IDF模型（term frequency inverse doc
A Simple but Tough-to-Beat Baseline for Sentence Embeddings.pdf
04-08
SIF：一种简单却难以打败的句子嵌入方法 文章导航https://blog.csdn.net/qq_42491242/article/details/105381771
论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
chloe_ou的博客
09-26 1312
《a simple but tough-to-beat baseline for sentence embeddings》published at ICLR 2017.   ICLR会议的论文总是创意层出不穷，相信将来该会议的地位越来越受人们尊重。   本文提出了一个简单但是完胜现在已有的很多方法的sentence embedding方法。作者称之为WR方法，W stands for we...
[NLP论文阅读]A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
神经元维修艺术
11-12 947
本文是阅读 ICLR 会议论文 “A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS” 所作笔记。 论文 GitHub：https://github.com/PrincetonML/SIF Abstract 本文提出了一种基于无监督学习的 Sentence Embedding 方法，其效果超过了目前（截止论文发表）主流的 Sent...
论文解读-SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
丘文波的自然语言处理学习
06-10 266
1.论文摘要 该论文是在 ICLR 2017提出的一个无监督的句子嵌入的方法：使用维基百科等无标签的语料训练得到词向量，然后通过词向量加权平均获得句子表征向量。然后使用PCA/SVD再对句向量进行一次修正得到最终得句向量。 2. 计算句子表征的算法 先来看下论文中提出的句子表征的算法： 上面的算法过程中有两个重点： • 为什么可以通过句子中的单词向量加权平均来获得句子初始的向量的表征？（公式(1)） • 为什么得到句子的初始向量之后要做一个修正（公式(2)） 论文围绕着这两个问题进行了解答。 3. 随机
论文阅读：《a simple but tough-to-beat baseline for sentence embeddings》
10-24 924
https://openreview.net/pdf?id=SyK00v5xx 原文：http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html 句子Embedding动机 虽然这节课一直在讲词向量可以编码词的意思，但自然语言处理真正关心的是整个句子的意思。 如果我们能够拿到句子的向量表示，则可以方便地用内积计算相似度： 还可以在这些句子...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
最新发布
07-18
huggingface下载速度慢，遇到sentence-transformers模型下载失败还是尽量使用进行本地下载改路径的方式。
nlp-papers:必须阅读的有关自然语言处理（NLP）的论文
05-19
必须阅读的有关自然语言处理（NLP）的论文 一般的 DistilBERT：DistilBERT，BERT的简化版本：更小，更快，更便宜，更轻 CTRL：可控发电的条件变压器语言模型 CamemBERT：美味的法语模型 ALBERT：用于语言表达自我...
nlp自然语言处理实验六 TF-IDF实验
06-09
nlp最后一个实验，自然语言处理
NLP：自然语言处理的预训练模型Pre-trained Models for NLP- A Survey
04-21
随着深度学习的发展，各种神经网络已广泛用于解决自然语言处理（NLP）任务，例如卷积神经网络（CNNs）[79、85、48]，递归神经网络（RNNs）[167、106] ]，基于图的神经网络（GNN）[153、168、118]和注意力机制[7、178...
[NLP]论文笔记-A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
CristianoJason的博客
09-15 3153
概括来说，这篇文章主要设计了一种无监督的 sentence embedding 方法，即如何加权句子中的每个单词从而计算得到整个句子的向量表示，所设计的模型在文本相似度、文本蕴含、文本分类等任务上表现的都很好。文章中大量篇幅涉及到所提出的加权机制，具体在下面的笔记中会介绍。
读论文有感:A Sample But Tough-To-Beat Baseline For Sentence Embedding
SYSU_BOND的博客
04-02 1974
该算法有着一定的意义，即通过分析，对Word Embeddings进行加权平均，得到比单纯平均或以TF-IDF为权值的平均向量更好的结果，因计算简单，如作者所述，作为一个更好的Baseline是很好的选择不过该论文的一些说法有点言过其实，甚至进行了一点小tricks，比如说比supervised 的LSTM有着更好的效果这一说法，有着一定的争议，因为Sentence Embedding实则也是一种...
Sentence2Vec模型介绍
walkeao的博客
01-04 1万+
Sentence2VecSentence2Vec 前言 算法介绍 参考文献前言  本文是对论文A Simple but Tough-to-Beat Baseline for Sentence Embeddings中算法的简要描述，具体细节请参考代码实现。算法介绍  1. 对一个句子中所有词的词向量进行加权平均，每个词向量的权重可以表示为aa+p(w)\frac{a}{a+p(w)}，其中aa为参数，
A Simple but Tough-to-Beat Baseline for Sentence Embeddings阅读笔记
Leokb24的博客
05-08 721
文章目录概述算法实验1. Textual Similarity Tasks2. Supervised Tasks 概述 一篇17年的论文, 采用无监督的方法. 主要思想可以概括为两步: 利用词嵌入方法，通过词向量的线性的加权组合对一个句子进行编码 利用奇异向量求出最终的句向量。 算法 实验 1. Textual Similarity Tasks 数据集 all the datasets f...
cips2016+学习笔记︱简述常见的语言表示模型（词嵌入、句表示、篇章表示）
素质云笔记
02-05 1万+
在cips2016出来之前，笔者也总结过种类繁多，类似词向量的内容，自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）事实证明，笔者当时所写的基本跟CIPS2016一章中总结的类似，当然由于入门较晚没有CIPS2016里面说法权威，于是把CIPS2016中的内容，做一个摘录。 CIPS2016 中文信息处理报告《第五章 语言表示与深度学习研究进展、现状及趋势》第三节 技术方法和研
深度学习在短文本相似中的应用（Sentence2Vector）——qjzcy的博客
热门推荐
qjzcy的博客
07-11 2万+
我们的工作中经常遇到如何求两个句子的相似，比如如何判断搜索query和广告query的相似，搜索query和app的相似，再比如短文本相似的问答系统等等。有什么好的方法呢，这里是个人的一点总结吧。目录： 一、 先贴结果 二、 短文本相似常用的方法 三、主题模型的应用 四、 深度学习的模型搭建（一）老样子先贴结果吧，样本是处理后的搜索query和广告点击query，准确率在95%左右
[Paper 学习笔记]PCANet: A Simple Deep Learning Baseline for Image Classification?
Dania的思考与记录
06-28 4743
一、 PCANet简介一种用于图像分类的深度学习网络，用于提取图像中的特征。主要由级联的PCA filters、binary hashing和块直方图构成。相比于RandNet和LDANet，性能更佳，可适用多个数据集，结构和参数设置简单。二、PCANet结构1.结构图如下图所示： N个m×n大小的训练图，所有层中的patch尺寸都是k1×k2，只有PCA filters需要学习输入的图像。2
文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结
【人工智能】王小草的博客
01-07 2185
作者：王小草 背景介绍 最近对句子的分布式嵌入向量做了些许调研，前程往事自不必多提，未来之事也无需多虑，本文只聚焦于2015年-2018年最近4年最为典型的文献予以介绍和推荐，若读者在工作中有接触和应用更好的方法，跪求您给我留言建议哦，不胜感激。 词嵌入或词表征，是用具有语义相似性的向量来表征自然语言中的词语。以此类推，句子嵌入或句子表征，就是用向量来表征自然语言中的句子，使得向量中携带着句子的语...
从compositional到distributed，从无监督到有监督再到多任务学习 —— 漫谈句向量 Sentence Embedding
TangowL
05-27 4205
关于词向量，word embedding，研究相对较早，存在多种表征方式，目前 distributed 方式相对成熟，得到了广泛应用。但从 word 向 sentence、paragraph、document扩展，却仍处于探索阶段，本文尝试对目前主要的研究方向和代表工作进行概述，不会详细介绍模型细节，后续可能有文章继续跟进。 ...
a structured self-attentive sentence embedding
03-16
结构化自注意力句子嵌入是一种用于将自然语言句子转换为向量表示的技术。它使用自注意力机制来捕捉句子中的重要信息，并将其编码为一个固定长度的向量。这种技术在自然语言处理中被广泛应用，例如文本分类、情感分析和机器翻译等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值