Abstractive Sentence Summarization with Attentive Recurrent Neural Networks 阅读笔记

最新推荐文章于 2022-03-03 11:40:28 发布
最新推荐文章于 2022-03-03 11:40:28 发布
阅读量179 收藏
点赞数
文章标签： 人工智能
原文链接：https://yq.aliyun.com/articles/618627
版权

Abstractive Sentence Summarization with Attentive Recurrent Neural Networks

  • Sumit Chopra et al., Facebook AI Research
  • NAACL2016
  • sentence level

  • encoder: 使用了基于注意力的CNN

    • 先将词的原始embedding(x_i)和位置embedding(l_i)（可训练）相加，作为词的full embedding(a_i)
    • 然后使用size=5的一维卷积核做一个卷积操作，得到aggregate embedding(z_i)
    • 计算attention：
      RAS_attention

    h_t-1是t-1时刻的隐层状态（吧）

    • 计算t时刻encoder的输出c_t:
      RAS_ct

  • decoder: 普通的RNN和LSTM都试了

    • 状态更新：
      RAS_decoder
  • 模型encoder的输入每次都是一个完整地句子，decoder每次要输出的时候，会将h_t-1给encoder，encoder根据句子和h_t-1计算attention生成c_t给decoder，然后decoder根据(y_t-1, h_t-1, c_t)计算要输出的单词。encoder还要更新position embedding(l_i)

  • 性能(RAS-Elman, k=10, k means beam size):

    • DUC-2004: Rouge-1:28.97/Rouge-2:8.26/Rouge-L:24.06
    • Gigaword: Rouge-1:33.78/Rouge-2:15.97/Rouge-L:31.15
weixin_34025151
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Recurrent Convolutional Neural Networks for Text Classification阅读笔记
Leokb24的博客
04-12 591
RCNN Model Word Representation Learning 使用的双向RNN cl(wi)c_l(w_i)cl​(wi​)表示词wiw_iwi​左边上下文, cr(wi)c_r(w_i)cr​(wi​)表示右边上下文, 计算方式如下: e(wi−1)e(w_{i-1})e(wi−1​)代表第i-1个词的word embedding. 每个词的最终表示: 再接一...
Relation Classification via Recurrent Neural Network论文阅读笔记
zyk9916的博客
05-14 549
背景： 从Zeng等提出CNN深度学习模型解决关系分类问题开始（Relation Classification via Convolutional Deep Neural Network），陆续提出了很多模型，如MW-CNN（2015），CR-CNN（2015），DepLCNN（2015）等。虽然也有一些基于其他架构的模型，如MV-RNN（2012，它是一个递归网络，并不是时序模型），FCM（2014)，SDP-LSTM(2015），总体来说，CNN模型占据主导地位。 本文的主要贡献： 1.提出了基于R
自动文摘论文阅读（一）
abcgkj的博客
04-24 870
搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多AI干货 csdn：https://blog.csdn.net/abcgkj github：https://github.com/aimi-cn/AILearners A Neural Attention Model for Abstractive Sentence Summarization Abstractive...
#Paper Reading# Abstractive Sentence Summarization with Attentive Recurrent Neural Networks
John159151的专栏
06-11 1619
论文大体内容： 本文使用一种conditional RNN来生成摘要，条件是卷积注意力模型（convolutional attention-based encoder），用来确保每一步生成词的时候都可以聚焦到合适的输入上。模型仅仅依赖于学习到的features，并且很容易在大规模数据上进行end2end式地训练，并且在Gigaword语料上和DUC-2004任务中取得了更好的效果。
论文阅读 | Abstractive Sentence Summarization with Attentive Recurrent Neural Networks
Shannon
11-11 731
Abstractive Sentence Summarization with Attentive Recurrent Neural Networks 摘要 Abstractive Sentence Summarization generates a shorter version of a given sentence while attempting to preserve its mean...
生成式摘要的四篇经典论文
SunnyGJing’s blog
03-03 3211
本文重温经典，从生成式摘要的开篇之作起，讲解四篇经典论文和它们的相关文献。这四篇论文奠定了生成式摘要技术的发展基础，探讨了摘要的本质问题，为后来的研究提供启示。所谓“了解走过的路，才能更好地往前看”，正是本文的初衷，学习经典论文，思考创新点。
A Neural Attention Model for Abstractive Sentence Summarization
04-17
这是一个视频的字幕，使用方法见这里：https://blog.csdn.net/yj13811596648/article/details/89354314
Convolutional Neural Networks for Sentence Classification
03-26
十分好的文章。
《Convolutional neural networks for sentence classification》原文及翻译
11-24
通过阅读翻译，我们可以更好地理解和应用CNNs在NLP任务中的工作原理。 总之，《卷积神经网络在句子分类中的应用》这篇论文开创性地将CNN引入NLP，为后来的深度学习在NLP领域的广泛应用奠定了基础。其创新之处在于...
textCNN文本分类相关论文Convolutional Neural Networks for Sentence Classification
03-16
textCNN文本分类相关论文Convolutional Neural Networks for Sentence Classification
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
最新发布
03-21
奠基之作 《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》，论文原文PDF格式文档下载。BERT的构造使得它不适用于语义相似性搜索以及聚类等无监督任务。SBERT使用siamese和triplet network结构...
Abstractive Document Summarization with a Graph-Based Attentional Neural Model
FrankYu
12-19 992
这篇文章的阅读笔记，很详细
Neural Attention Model for Abstractive Sentence Summarization
weixin_34067102的博客
08-01 293
本周开始分享自动文摘相关的paepr，今天分享的一共有两篇。其中一篇是A Neural Attention Model for Abstractive Sentence Summarization，另一篇是Abstractive Sentence Summarization with Attentive Recurrent Neural Networks...
入坑Abstractive Summarization：文本摘要CNN/DM数据集
木尧大兄弟
03-18 9857
几个CNN/DM数据集的地址： 【万x之源】最初版本的CNN/DM：https://cs.nyu.edu/~kcho/DMQA/ 下图大兄弟用来创造非匿名数据集的代码：https://github.com/abisee/cnn-dailymail（为啥不直接给出处理完的数据集呢？作者说“出于法律原因”，毕竟不是自己的数据嘛，可以理解~） 这位兄弟迎♂而上！提供了分词完事儿的数据：https...
A Neural Attention Model for Abstractive Sentence Summarization 论文阅读笔记
u012706626的博客
03-20 1963
作者：Rush, A. M., Chopra, S., & Weston, J.单位 ：Facebook AI Research / Harvard SEAS关键词：Neural Attention, Abstractive Sentence Summarization文章来源：EMNLP 2015问题这篇来自Facebook的paper的主题是基于attention based NN的生...
Text Summarization 综述
热门推荐
张小彬的专栏
11-24 1万+
ABS 和 ABS+[Rush, 2015] A Neural Attention Model for Abstractive Sentence Summarization这篇 facebook 的论文是用神经网络来做生成式摘要的开山之作，后续的论文基本都会引用。而且在 github 上有开源的代码放出来，可以参考 facebook/NAMAS.模型的主要结构见下图(a)，即左边的那部分，其实本质上
Abstractive Summarization
weixin_30561177的博客
07-25 1309
Sequence-to-sequence Framework A Neural Attention Model for Abstractive Sentence Summarization Alexander M. Rush et al., Facebook AI Research/Harvard EMNLP2015 sentence level seq2seq模型在2014年提出，这篇论文是...
CNN笔记（CS231N）——循环神经网络（Recurrent Neural Networks）
shanwenkang的博客
02-13 1126
递归神经网络 上一讲讲了CNN的架构，那么当我们把时间这个维度考虑进来了以后，我们就得到了递归神经网络（RNN）。RNN的输入输出可以是一对多、多对一、多对多，分别对应不同的应用场景 RNN的核心部分是如下公式，旧状态+当前输入，经过一个函数，得到了新状态，新状态会被送到下一个时候参与运算。我们的这个函数fw在不同时间是固定的。 普通RNN 一般来说这个fw函数是tanh函数，W是...
[转]深度学习论文推荐
09-27 876
Startups 机器学习、深度学习、计算机视觉、大数据创业公司 - Startups in AI Deep Reinforcement Learning David Silver. "Tutorial: Deep Reinforcement Learning." ICML 2016. David Silver’s course. "Reinforcement Learning"....
convolutional neural networks for sentence classification
06-28
卷积神经网络 (Convolutional Neural Networks, CNN) 是一种常用于文本分类的深度学习模型。它通过卷积和池化层来提取文本中的特征，并使用全连接层来进行分类。 CNN 的一个优点是能够处理变长的输入，并且不需要对...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值