关于句子embedding的一些工作简介（四）---- Quick Thoughts

最新推荐文章于 2024-05-29 09:53:44 发布
最新推荐文章于 2024-05-29 09:53:44 发布
阅读量2.5k 收藏 8
点赞数 1
分类专栏： 深度学习，人工智能 句子嵌入 自然语言处理，注意力模型 句子embedding embedding 文章标签： quick thought skip thought nlp deep leanring embedding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/triplemeng/article/details/81561320
版权
QT是Skip-thought的升级版，通过移除decoder并引入classifier提高效率。文章对比了QT与Skip-thought、InferSent，表明QT在效果和训练时间上更具优势，被誉为句子版的Word2Vec。
摘要由CSDN通过智能技术生成

Quick Thoughts(以下简称QT 论文)可以理解为升级版本的Skip-thought，方法简单很多，但是效果上略优于InferSent等算法。

Skip-thought

了解QT绕不开Skip-thought(论文)。Skip-thought顾名思义，可以理解为句子版本的Skip-gram(word2vec论文)。在word2vec算法的skip-gram版本中，中心词可以用来预测context中的词汇; 对应的，Skip-thought利用中心词预测context中的句子。
这里写图片描述

如图所示，中间的句子”I could see the cat on the steps” 可以拿来预测前面的句子”I got back home”和后面的句子”This was strange”。

那么这种预测具体怎么实现呢？
作者利用了一个encoder来压缩中心句子的信息，然后用一个decoder来产生context里的句子。对于这种sequence modeling, 一般的最佳选择是LSTM或者GRU，论文中encoder和decoder都是GRU。相应的，负的loss function是：
这里写图片描述

这里的 hi h i 代表第i个句子通过encoder的输出， w<ti+1 w i +

最低0.47元/天 解锁文章
triplemeng
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
关于句子embedding的一些工作简介（二）---- InferSent
triplemeng的博客
07-25 4201
书接上回。这篇文章介绍一下2017年影响力非常大的一篇论文 : Supervised Learning of Universal Sentence Representation from Natural Language Inference Data, by Alexis Conneau et al. 迄今为止它在NLP很多任务上都取得了state of art的成绩。 贡献 实验 ...
关于句子embedding的一些工作简介（三）---- Concatenated p-mean Word Embeddings
triplemeng的博客
07-31 3067
这篇论文产生sentence embedding的方法非常简单，但是效果并不差，算是极简主义的一次胜利。由于其简单易操作，尽管过去由一些论文自称为hard/tough-to-beat的baseline，作者把自己的工作称为一个much harder-to-beat baseline。从实际效果看，此言不虚。 最简单的求sentence embedding的方法是对句子里所有的单词embeddin...
探索语义世界的Skip-Thoughts模型：PyTorch实现
最新发布
gitblog_00013的博客
05-29 349
探索语义世界的Skip-Thoughts模型：PyTorch实现 skip-thoughtsThe first public PyTorch implementation of Skip-Thought Vectors项目地址:https://gitcode.com/gh_mirrors/ski/skip-thoughts 项目介绍 在自然语言处理的广阔领域中，Skip-Thought Vect...
关于句子embedding的一些工作简介（五）---- 从对话中学习
triplemeng的博客
08-27 2332
这是《简介》系列的最后一篇文章。原本我是想写一下Universal Sentence Encoder这篇文章，但是从方法的新颖上来讲，它不如同样的这批作者所写的Learning Semantic Textual Similarity from Conversations。论文 方法 论文基于这样的观察：在对话中，如果两个问句的回答是相似的，那么这两个问句的相似度就高。比如”How old ar...
Quick thoughts:一种新型、有效的sentence vector模型
cpluss的博客
08-06 3997
目录   一、概要 二、原理 一、概要 英文原文链接：https://pan.baidu.com/s/1FwqOzn7kdDAiYpOHACQzEQ 密码：sjsa 英文论文名称：《An efficient framework for learning sentence representations》 本文主要提出了一种新的方法来实现sentence2vec，实际上则是对skip ...
Quick-Thought模型学习笔记
潘多拉星系的专栏
10-22 1432
文章目录一、前言二、Skip-Thought模型三、Quick-Thought模型四、实验五、总结参考资料 一、前言   英文论文名称：《An efficient framework for learning sentence representations》   该文主要提出了一种新的方法来实现sentence2vec，实际上则是对skip thoughts的一种改进。从效果上来看，它训练得到的...
In-Situ_De-embedding.pdf
10-09
《In-Situ De-embedding 技术解析》 在电子测试和测量领域，In-Situ De-embedding（ISD）技术是一种重要的分析方法，用于消除测量过程中由于测试夹具、电缆或其他外部因素引入的误差，从而获取设备或电路的真实性能...
GUI界面_TRL_TRLde-embedding_
10-03
标题"GUI界面_TRL_TRLde-embedding_"表明这是一个图形用户界面（GUI）软件，专门设计用于执行TRL去嵌套过程。下面我们将详细探讨TRL校准和去嵌套的基本概念、其重要性以及如何利用GUI界面进行操作。 TRL（Through-...
form-embedding-wpf：嵌入Sampe的WPF后端表单
02-06
在Microsoft Build 2017上，Microsoft宣布了Xamarin.Forms Embedding ，该功能可以获取任何ContentPage并将其添加到本机应用程序中。 更多信息： : 嵌入WPF后端的表单 在这里，您可以找到将表单嵌入与WPF应用程序...
Structured-Self-Attentive-Sentence-Embedding:结构化自注意句子嵌入的TensorFlow实现
05-18
"Structured-Self-Attentive-Sentence-Embedding-master"可能包含以下内容： 1. 源代码：`.py` 文件，实现了模型架构和训练过程。 2. 数据集：用于训练和测试模型的文本数据。 3. 配置文件：`.json` 或 `.yaml` 文件...
Chinese-Text-Classification-Pytorch-mas
09-20
Chinese-Text-Classification-Pytorch-master。...python run.py --model FastText --embedding random # DPCNN python run.py --model DPCNN # Transformer python run.py --model Transformer
关于句子embedding的一些工作简介（一）
triplemeng的博客
07-17 8193
关于句子embedding的一些工作简介（一） 对于NLP方面的工作来讲，毫无疑问词嵌入(word embedding)是最重要的基石。然而人们往往最关心的是如何利用词嵌入表达好一个句子或者一段话，也就是如何找到sentence embedding, 或者paragraph embedding 过去的一些解决方案 Bag of Words 最直观的想法是忽略句子里词语的顺序，从而把它...
Skip-Thought Vector学习笔记
潘多拉星系的专栏
10-22 3451
文章目录一、skip-thought思想及结构二、模型（encoder-decoder）1、编码器：2、解码器：3、损失函数：三、 词汇扩展：四、训练模型技巧参考资料 一、skip-thought思想及结构   skip-thought模型结构借助了skip-gram的思想。在skip-gram中，是以中心词来预测上下文的词；在skip-thought同样是利用中心句子来预测上下文的句子，其数据的...
语言模型中“嵌入”（embedding）概念的介绍
xw555666的博客
02-20 1260
嵌入（embedding）是一种尝试通过数的数组来表示某些东西“本质”的方法，其特性是“相近的事物”由相近的数表示。嵌入（Embedding）是一种将高维、离散或符号形式的数据转换为低维连续向量表示的方法。这些连续的数值数组能够捕捉原始数据中难以直接度量和计算的内在特征和关系。在自然语言处理（NLP）领域，嵌入通常用来表示单词、短语或整个文档，通过这种方式，模型可以理解和利用词汇之间的相似性、关联性和上下文信息。
句向量 Sentence Embedding
be_humble的博客
07-11 2337
句向量 Sentence embedding 对比学习 SimCSE SCD Bert-flow Bert-whitening
【论文详解】词向量ELMo: Embeddings from Language Models
zenRRan的博客
08-04 873
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要15分钟跟随小博主，每天进步一丢丢作者：赵来福来自：机器学习算法与自然语言处理链接：https://zhuanlan.zhihu.c...
专题-句向量（Sentence Embedding）
热门推荐
luoyexuge的专栏
11-08 1万+
原始地址：https://github.com/imhuay/Algorithm_Interview_Notes-Chinese/blob/master/B-%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/B-%E4%B8%93%E9%A2%98-%E5%8F%A5%E5%B5%8C%E5%85%A5.md   Reference ...
embedding
木筱雪的专栏
10-16 7815
what is emddingembedding就是把字词用向量表示出来，相当于是对字词做encodingmotivation比如 猫，狗，我们当然可以直接把他们表示为一些独立的离散符号，但是这样的表示毫无意义，而且会产生大量稀疏数据。使我们在训练统计模型时不得不寻求更多的数据。而词汇的向量表示将克服上述的难题。background VSM（vector space model） 核心思想就是把一
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值