（阅读笔记）A STRUCTURED SELF-ATTENTIVESENTENCE EMBEDDING

最新推荐文章于 2024-03-28 13:30:00 发布
最新推荐文章于 2024-03-28 13:30:00 发布
阅读量545 收藏
点赞数 1
文章标签： 深度学习 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40088262/article/details/127097351
版权
本文介绍了如何使用自注意力机制来提取可解释的句子嵌入，通过双向LSTM和自注意力层，结合惩罚项增强嵌入的多样性。作者提供了可视化方法以增强模型的可解释性。
摘要由CSDN通过智能技术生成

来源：2017.ICLR

使用自注意力进行句子嵌入

本文提出了一种通过引入自我注意来提取可解释句子嵌入的模型。作者不使用向量，而是使用二维矩阵来表示嵌入，矩阵的每一行都参与句子的不同部分。并且作者为模型提出了一个自注意机制和一个特殊的正则化项。并且提供了一种简单的方法来可视化句子的哪些特定部分被编码到嵌入中。

图：将所提出的句子嵌入模型应用于情感分析的示例，并结合了全连接层和 softmax 层。

  • 一、模型
  • 1.1双向LSTM

假设一个由n个单词组成的句子，这n个单词经过嵌入后，形成一个向量序列S，每个单词嵌入向量为d，则S的形状为n*d：

最低0.47元/天 解锁文章
一个阴天
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN
⚡
08-13 5085
包含李宏毅机器学习视频P17-P23的课程梗概
[NLP论文阅读] A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING
jx00109的博客
10-25 9242
这篇文章提出了使用self-attention技术来生成可解释句子向量的模型。通常我们使用向量(vector)来表示单词、短语或者句子向量，在这篇文章中，作者提出可以使用二维句子来表示句子，矩阵的每一行表示句子的不同部分。
论文笔记：A Structured Self-Attentive Sentence Embedding
a1424262219的博客
08-19 326
A Structured Self-Attentive Sentence Embedding ICLR 2017 2018-08-19 14:07:29 Paper：https://arxiv.org/pdf/1703.03130.pdf Code（PyTorch）:https://github.com/kaushalshetty/Structured-Self-Atte...
[ICLR2017]A Structured Self-attentive Sentence Embedding
Deep Learning and NLP Farm
08-14 1671
为了更好地表示句子的内在含义，本文提出了一种 self-attention mechanism , 可以从 r（超参数）个方面刻画句子的特性。不同于其他的使用attention的任务，本文只有一个input，对该句子进行 self-attention模型由两部分组成（1）bilstm , H 的矩阵大小是n*2u (
A Structured Self-Attentive Sentence Embedding
ssk_csdn的博客
11-13 602
A Structured Self-Attentive Sentence Embedding 标签： 论文笔记 Abstract 本论文通过引入self-attention机制提出一种新的模型抽取一种可解释的句子嵌入向量。使用2-D矩阵，每行表示句子的不同部分。本文提出self-attention机制和一种特殊的regularization term。并且能可视化地显示嵌入向量对句子每部分的表示...
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDING
weixin_44783277的博客
08-25 630
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDINGAbstruct1. Introducion2. Approach2.1 Model2.2 Penalization Term2.3 Visualization3. Related Work4. Experimental Results4.1 Author Profiling4.2 Sentiment Analysis4.3 Textual Entailment4.4 Exploratory Ex
Structured-Self-Attentive-Sentence-Embedding:结构化自注意句子嵌入的TensorFlow实现
05-18
"Structured-Self-Attentive-Sentence-Embedding-master"可能包含以下内容： 1. 源代码：`.py` 文件，实现了模型架构和训练过程。 2. 数据集：用于训练和测试模型的文本数据。 3. 配置文件：`.json` 或 `.yaml` 文件...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
[论文笔记] [2015] Deep Convolutional Networks on Graph-Structured Data
Alexzhuan
06-03 1062
这是15年的一篇论文，是Joan Bruna等人对13年的工作 Spectral Network [1] 做出的改进，主要解决两个了问题： spectral network 拓展到大规模数据（large-scale, high-dimensional）任务上 对于没有给定图结构的任务，提出了一种 graph estimation 方法 Generalizing Convolutions to Graphs 这一篇在spetral network的定义上，描述地更加简洁明了。 Definition 1.
A Structured Self-attentive Sentence Embedding
09-01
A Structured Self-attentive Sentence Embedding
Deep Sentence Embedding Using Long Short-Term Memory Networks
03-02
This paper develops a model that addresses sentence embedding, a hot topic in current natural language processing research, using recurrent neural networks (RNN) with Long Short-Term Memory (LSTM) cells. The proposed LSTM-RNN model sequentially takes each word in a sentence, extracts its information, and embeds it into a semantic vector. Due to its ability to capture long term memory, the LSTM-RNN accumulates increasingly richer information as it goes through the sentence, and when it reaches the last word, the hidden layer of the network provides a semantic representation of the whole sentence.
论文：A Structured Self-attentive Sentence Embedding翻译笔记（结构化的自注意力句子嵌入）
最新发布
weixin_56242678的博客
03-28 837
论文：A Structured Self-attentive Sentence Embedding翻译笔记（结构化的自注意力句子嵌入）
A Structured Self-attentive Sentence Embedding 论文笔记
每天起床第一句要给自己打个气
10-10 399
笔记原文地址:http://chenhao.space/post/e76a9f9c.html 摘要 论文地址：https://arxiv.org/abs/1703.03130 本篇论文提出了一种基于自注意力机制（自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性）的sentence embedding。 sentence embedding模型用 2-D m...
读书笔记16：A structured self-attentive sentence embedding（ICLR 2017）
b224618的博客
09-06 1768
https://arxiv.org/pdf/1703.03130.pdf 本文在其他文章中被提到过，被称作attentive pooling 本文的摘要开门见山，不介绍背景，不介绍别人的工作，直接就说本文提出了一个新的获取可解释的sentence embedding的方法，是通过self-attention实现的。用2D matrix代表embedding，而不是使用vector（由此推测主流...
A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING【论文笔记】
Chevalier的博客
07-03 229
一、Background   在学习单个词的语义上有意义的分布式表示方面已经取得了很大进展，比如word emebddings。另外，要获得满意的短语和句子表示仍然有很多的工作要做。这些方法通常可以分为两大类：通用的embedding，无监督学习训练得到，包括SkipThought vectors、ParagraphVector等等。另外一种是特定任务监督训练得到的，通常与下游应用相关。一般来说，...
Sentence Embedding：自注意力机制
qq_39778575的博客
10-07 1316
论文：ICLR2017-A structured self-attentive sentence embedding 梗概： 本文提出了一种基于自注意力机制的sentence embedding，自注意力机制是区别于注意力机制的，他可以减少对外部信息的依赖，只依靠自己的额输入来生成对应的注意力权重，他的权重主要是基于内部的相关性。 我们使用一个2-D的矩阵来表征一个句子，矩阵中的每一行代表句子的一个部分，从而可以更好的反映句子的不同特征，可以更好的进行之后的训练。 ...
A Self-Attention Setentence Embedding 阅读笔记
BUPT-WT的博客
03-25 408
本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term 总结 以往论文中常用的句子表示为一维向量，但是这只能表达句子的一部分信息，为此作者提处一种self-attentive机制，并基于此机制，将句子表示...
《A Self-Attention Setentence Embedding》阅读笔记及实践
JohnSon
06-11 5657
算法原理 本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term。 假设我们有一个句子SSS, 包含nnn个单词 S=(w1,w2,w3,...,wn)S=(w1,w2,w3,...,wn)S = (w_1...
a structured self-attentive sentence embedding
03-16
结构化自注意力句子嵌入是一种用于将自然语言句子转换为向量表示的技术。它使用自注意力机制来捕捉句子中的重要信息，并将其编码为一个固定长度的向量。这种技术在自然语言处理中被广泛应用，例如文本分类、情感分析和机器翻译等领域。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个阴天

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值