[ICLR2017]A Structured Self-attentive Sentence Embedding

最新推荐文章于 2024-03-28 13:30:00 发布
最新推荐文章于 2024-03-28 13:30:00 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： PaperNotes 文章标签： Paper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleml/article/details/77170759
版权

为了更好地表示句子的内在含义，本文提出了一种 self-attention mechanism , 可以从 r（超参数）个方面刻画句子的特性。不同于其他的使用attention的任务，本文只有一个input，对该句子进行 self-attention

这里写图片描述

模型由两部分组成（1）bilstm
这里写图片描述 , H 的矩阵大小是n*2u
(2) self-attention mechanism
attention的矩阵A的求解过程是上面图1的右半部分，每个参数的大小以及解释在下面
这里写图片描述

小妖精Fsky
关注
专栏目录
Controllable Multi-Interest Framework for Recommendation
weixin_41697507的博客
07-23 3521
Controllable Multi-Interest Framework for Recommendation ABSTRACT Recently, neural networks have been widely used in e-commerce recommender systems, owing to the rapid development of deep learning. We formalize the recommender system as a sequential recom
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
qq_42189083的博客
05-29 3031
持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into
（阅读笔记）A STRUCTURED SELF-ATTENTIVESENTENCE EMBEDDING
weixin_40088262的博客
09-28 560
与 KL 散度惩罚相比，此项仅消耗三分之一的计算量：使用 A 的点积及其转置，减去单位矩阵，作为冗余的度量。(a) 和 (b) 显示了矩阵嵌入的 30 行中的 6 行所采取的详细注意力，而 (c) 和 (d) 通过总结所有 30 个注意力权重向量来显示整体注意力。由于 H 的大小为n*2u，注意力权重向量 a 的大小为n。为了将可变长度的句子编码为固定大小的嵌入，通过将H 中的 n 个 LSTM 隐藏向量的线性组合来实现这一点。作者不使用向量，而是使用二维矩阵来表示嵌入，矩阵的每一行都参与句子的不同部分。
论文笔记：A Structured Self-Attentive Sentence Embedding
a1424262219的博客
08-19 337
A Structured Self-Attentive Sentence Embedding ICLR 2017 2018-08-19 14:07:29 Paper：https://arxiv.org/pdf/1703.03130.pdf Code（PyTorch）:https://github.com/kaushalshetty/Structured-Self-Atte...
A Structured Self-Attentive Sentence Embedding
ssk_csdn的博客
11-13 626
A Structured Self-Attentive Sentence Embedding 标签： 论文笔记 Abstract 本论文通过引入self-attention机制提出一种新的模型抽取一种可解释的句子嵌入向量。使用2-D矩阵，每行表示句子的不同部分。本文提出self-attention机制和一种特殊的regularization term。并且能可视化地显示嵌入向量对句子每部分的表示...
[NLP论文阅读] A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING
jx00109的博客
10-25 9285
这篇文章提出了使用self-attention技术来生成可解释句子向量的模型。通常我们使用向量(vector)来表示单词、短语或者句子向量，在这篇文章中，作者提出可以使用二维句子来表示句子，矩阵的每一行表示句子的不同部分。
A Structured Self-attentive Sentence Embedding 论文笔记
每天起床第一句要给自己打个气
10-10 421
笔记原文地址:http://chenhao.space/post/e76a9f9c.html 摘要 论文地址：https://arxiv.org/abs/1703.03130 本篇论文提出了一种基于自注意力机制（自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性）的sentence embedding。 sentence embedding模型用 2-D m...
顶会速递 | ICLR 2020录用论文全集
热门推荐
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
解决序列长期依赖的法宝——注意力机制
Matrix
02-06 1963
注意力的种类有如下四种： 加法注意力, Bahdanau Attention 点乘注意力, Luong Attention 自注意力, Self-Attention 多头点乘注意力, Multi-Head Dot Product Attention（请转至Transformer模型） 1. Bahdanau Attention Neural Machine Translation by Jo...
Deep Sentence Embedding Using Long Short-Term Memory Networks
03-02
This paper develops a model that addresses sentence embedding, a hot topic in current natural language processing research, using recurrent neural networks (RNN) with Long Short-Term Memory (LSTM) cells. The proposed LSTM-RNN model sequentially takes each word in a sentence, extracts its information, and embeds it into a semantic vector. Due to its ability to capture long term memory, the LSTM-RNN accumulates increasingly richer information as it goes through the sentence, and when it reaches the last word, the hidden layer of the network provides a semantic representation of the whole sentence.
自注意力机制《A Self-Attention Setentence Embedding》
pangxing6491的博客
05-31 662
自注意力机制： https://blog.csdn.net/john_xyz/article/details/80650677
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDING
weixin_44783277的博客
08-25 653
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDINGAbstruct1. Introducion2. Approach2.1 Model2.2 Penalization Term2.3 Visualization3. Related Work4. Experimental Results4.1 Author Profiling4.2 Sentiment Analysis4.3 Textual Entailment4.4 Exploratory Ex
A Self-Attention Setentence Embedding 阅读笔记
BUPT-WT的博客
03-25 427
本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term 总结 以往论文中常用的句子表示为一维向量，但是这只能表达句子的一部分信息，为此作者提处一种self-attentive机制，并基于此机制，将句子表示...
《A Self-Attention Setentence Embedding》阅读笔记及实践
JohnSon
06-11 5707
算法原理 本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term。 假设我们有一个句子SSS, 包含nnn个单词 S=(w1,w2,w3,...,wn)S=(w1,w2,w3,...,wn)S = (w_1...
读书笔记16：A structured self-attentive sentence embedding（ICLR 2017）
b224618的博客
09-06 1784
https://arxiv.org/pdf/1703.03130.pdf 本文在其他文章中被提到过，被称作attentive pooling 本文的摘要开门见山，不介绍背景，不介绍别人的工作，直接就说本文提出了一个新的获取可解释的sentence embedding的方法，是通过self-attention实现的。用2D matrix代表embedding，而不是使用vector（由此推测主流...
一种通过self-attention机制生成多维度aspect的句向量模型
guoyuhaoaaa的博客
12-03 5621
这篇博客主要借鉴了IBM沃森实验室的2017年ICLR会议的论文《A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING》。根据self-attention机制生成针对一个句子的多维度表征向量。就我个人来看，过去一提到attention这种基于注意力的模型，特别是用在情感分类方面，一般来说一定要和一个具体的任务联系在一起，这样才有attention的对象，比方说
论文：A Structured Self-attentive Sentence Embedding翻译笔记（结构化的自注意力句子嵌入）
最新发布
weixin_56242678的博客
03-28 854
论文：A Structured Self-attentive Sentence Embedding翻译笔记（结构化的自注意力句子嵌入）
论文引介 | Information Extraction with Reinforcement Learning
01-09 313
文章原名：Improving Information Extraction by Acquiring External Evidence with Reinforcement Learning 　　作者：Karthik Narasimhan, Adam Yala, Regina Barzilay 　　单位：Computer Science and Artificial Intellig
ICLR 2017：神经符号程序合成解决编程归纳难题
在2017年的国际计算机视觉与机器学习会议上(Conference on Learning Representations, ICLR 2017)，论文"MSR2017-Neuro Symbolic Program Synthesis"提出了一个重要的研究方向——神经符号程序合成(Neuro-Symbolic ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值