[ICLR2017]A Structured Self-attentive Sentence Embedding

最新推荐文章于 2021-08-25 19:14:39 发布
最新推荐文章于 2021-08-25 19:14:39 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： PaperNotes 文章标签： Paper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleml/article/details/77170759
版权

为了更好地表示句子的内在含义，本文提出了一种 self-attention mechanism , 可以从 r（超参数）个方面刻画句子的特性。不同于其他的使用attention的任务，本文只有一个input，对该句子进行 self-attention

这里写图片描述

模型由两部分组成（1）bilstm
这里写图片描述 , H 的矩阵大小是n*2u
(2) self-attention mechanism
attention的矩阵A的求解过程是上面图1的右半部分，每个参数的大小以及解释在下面
这里写图片描述

小妖精Fsky
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（阅读笔记）A STRUCTURED SELF-ATTENTIVESENTENCE EMBEDDING
weixin_40088262的博客
09-28 536
与 KL 散度惩罚相比，此项仅消耗三分之一的计算量：使用 A 的点积及其转置，减去单位矩阵，作为冗余的度量。(a) 和 (b) 显示了矩阵嵌入的 30 行中的 6 行所采取的详细注意力，而 (c) 和 (d) 通过总结所有 30 个注意力权重向量来显示整体注意力。由于 H 的大小为n*2u，注意力权重向量 a 的大小为n。为了将可变长度的句子编码为固定大小的嵌入，通过将H 中的 n 个 LSTM 隐藏向量的线性组合来实现这一点。作者不使用向量，而是使用二维矩阵来表示嵌入，矩阵的每一行都参与句子的不同部分。
[NLP论文阅读] A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING
jx00109的博客
10-25 9212
这篇文章提出了使用self-attention技术来生成可解释句子向量的模型。通常我们使用向量(vector)来表示单词、短语或者句子向量，在这篇文章中，作者提出可以使用二维句子来表示句子，矩阵的每一行表示句子的不同部分。
论文笔记：A Structured Self-Attentive Sentence Embedding
a1424262219的博客
08-19 321
A Structured Self-Attentive Sentence Embedding ICLR 2017 2018-08-19 14:07:29 Paper：https://arxiv.org/pdf/1703.03130.pdf Code（PyTorch）:https://github.com/kaushalshetty/Structured-Self-Atte...
A Structured Self-Attentive Sentence Embedding
ssk_csdn的博客
11-13 586
A Structured Self-Attentive Sentence Embedding 标签： 论文笔记 Abstract 本论文通过引入self-attention机制提出一种新的模型抽取一种可解释的句子嵌入向量。使用2-D矩阵，每行表示句子的不同部分。本文提出self-attention机制和一种特殊的regularization term。并且能可视化地显示嵌入向量对句子每部分的表示...
A Structured Self-attentive Sentence Embedding 论文笔记
每天起床第一句要给自己打个气
10-10 390
笔记原文地址:http://chenhao.space/post/e76a9f9c.html 摘要 论文地址：https://arxiv.org/abs/1703.03130 本篇论文提出了一种基于自注意力机制（自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性）的sentence embedding。 sentence embedding模型用 2-D m...
self-attentive-emb-tf:“结构化的自注意力句子嵌入”的简单Tensorflow实现（ICLR 2017）
05-10
结构化的自我专心句子嵌入Tensorflow实施“”（ICLR 2017）。用法数据AG的新闻主题分类数据集。 可从获得csv文件（在我的）。火车“ ”被用作预训练的word2vec模型。 显示帮助信息： $ python train.py --help train...
iclr-2021-factored-attention
05-30
iclr-2021-factored-attention 该存储库包含用于在我们的论文重现结果的代码。 该代码完全建立在之上， 是一个用于蛋白质家族 MRF 模型的小型库。 如果您希望使用我们的 Potts 或注意力实现进行自己的探索，直接...
ICLR2017文献
05-25
**ICLR2017文献概述** ICLR（International Conference on Learning Representations）是深度学习领域备受瞩目的国际会议，2017年的ICLR聚集了全球各地的研究者，展示了他们在机器学习，尤其是深度学习领域的最新...
注意转移：通过注意转移改善卷积网络（ICLR 2017）
02-05
注意转移PyTorch代码“更多地关注注意力：通过注意力转移提高卷积神经网络的性能” ICLR2017会议论文： ://openreview.net/forum id Sks9_ajex 到目前为止，此仓库中有什么： 用于CIFAR-10实验的基于激活的AT代码...
阅读理解-2020-ICLR-Transformer-XH- Multi-Evidence Reasoning with eXt
08-03
require reasoning with evidence scattered across multiple pieces of texts. This
自注意力机制《A Self-Attention Setentence Embedding》
pangxing6491的博客
05-31 645
自注意力机制： https://blog.csdn.net/john_xyz/article/details/80650677
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDING
weixin_44783277的博客
08-25 617
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDINGAbstruct1. Introducion2. Approach2.1 Model2.2 Penalization Term2.3 Visualization3. Related Work4. Experimental Results4.1 Author Profiling4.2 Sentiment Analysis4.3 Textual Entailment4.4 Exploratory Ex
A Self-Attention Setentence Embedding 阅读笔记
BUPT-WT的博客
03-25 403
本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term 总结 以往论文中常用的句子表示为一维向量，但是这只能表达句子的一部分信息，为此作者提处一种self-attentive机制，并基于此机制，将句子表示...
《A Self-Attention Setentence Embedding》阅读笔记及实践
JohnSon
06-11 5630
算法原理 本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term。 假设我们有一个句子SSS, 包含nnn个单词 S=(w1,w2,w3,...,wn)S=(w1,w2,w3,...,wn)S = (w_1...
读书笔记16：A structured self-attentive sentence embedding（ICLR 2017）
b224618的博客
09-06 1755
https://arxiv.org/pdf/1703.03130.pdf 本文在其他文章中被提到过，被称作attentive pooling 本文的摘要开门见山，不介绍背景，不介绍别人的工作，直接就说本文提出了一个新的获取可解释的sentence embedding的方法，是通过self-attention实现的。用2D matrix代表embedding，而不是使用vector（由此推测主流...
一种通过self-attention机制生成多维度aspect的句向量模型
guoyuhaoaaa的博客
12-03 5597
这篇博客主要借鉴了IBM沃森实验室的2017年ICLR会议的论文《A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING》。根据self-attention机制生成针对一个句子的多维度表征向量。就我个人来看，过去一提到attention这种基于注意力的模型，特别是用在情感分类方面，一般来说一定要和一个具体的任务联系在一起，这样才有attention的对象，比方说
Self-Attentive 基于自注意力分类的非结构化日志异常检测
Mark_Australia的博客
08-13 990
原文：Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs 摘要：异常检测对系统稳定性和安全性非常必要，收集描述系统运行状态的日志做样本。现有的异常检测方法通常要预先定义非可学习的数字日志表示，这样就限制了模型学习不同日志的意义，很难泛化处理未见过的日志。本文提出使用基于注意力编码器模型和新的损失函数，这样就能学习压缩日志表意，补货正常和异常日志内在的不同。较以前的方法，F1值提高了0.25。 异常检测就
一文读懂自注意力机制：8大步骤图解+代码
weixin_36896856的博客
12-10 4069
点击上方“AI遇见机器学习”，选择“星标”公众号原创干货，第一时间送达转自 | 新智元 来源 |towardsdatascience作者 |Raimi Karim 编辑 ...
论文笔记Self-Attentive Sequential Recommendation
weixin_39129550的博客
04-05 4415
Abstract 顺序动态（Sequential dynamics）在很多推荐系统中都是一个关键的特征。顺序动态就是基于用户最近的行为去捕捉用户活动的上下文。为了捕捉这种模式，有两类方法的应用比较广泛，即Markov Chains和Recurrent Neural Networks。马尔科夫链（Markov Chains）假设，用户的下一个动作可以仅基于其上一个（或最后几个）动作来预测，而RNN原...
多模态特征融合的方法总结：应用于VQA视觉问答
最新发布
03-09
文章的核心焦点在于MUTAN方法，这是一种专门设计用于解决视觉和语言模态融合问题的模型，它在ICLR 2017年会议上被提出。 首先，视觉问答任务要求系统能理解图像和自然语言问题，然后生成准确的回答。这个任务涉及将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值