论文阅读 《Text Summarization with Pretrained Encoders》

最新推荐文章于 2024-03-28 12:53:39 发布
最新推荐文章于 2024-03-28 12:53:39 发布
阅读量1.3k 收藏 12
点赞数 4
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alzy133/article/details/106365411
版权

看了一篇摘要的文章，用BERT去做摘要，主要展示了预训练模型可以给文本摘要带来提升，对于生成式摘要和抽取式摘要都做了实验，生成式摘要用BERT做Encoder，抽取式摘要直接把BERT当embedding用在这里插入图片描述

alzy133
关注
专栏目录
第六行：Text Summarization with Pretrained Encoders
程序员光剑
08-24 72
作者：禅与计算机程序设计艺术 1.简介 随着近几年的技术革命，自动化手段的应用越来越多，尤其是在生产领域。例如，在零售领域，使用机器学习模型可以提升效率，减少工作量；在制造领域，通过预测停产时间，可以节省时间，提高生产质量。但是这些技术往往基于某些领域的专业知识，并依赖于较为精确的统计模型，因此对于许多
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
qq_42189083的博客
05-29 2988
持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into
论文笔记 | Text Summarization with Pretrained Encoders
u011150266的博客
06-19 1610
该论文来自EMNLP2019，论文地址 文章目录概述IntroductionBERT抽取式摘要生成式摘要评价指标BERT 编码器抽取式模型生成式模型实验及分析总结 概述 本文提出了基于BERT的文档级编码器，该编码器能够表达文档的语义，并获得文档的句子表示。并分别提出了抽取式和生成式的摘要模型。 抽取式模型： 在该编码器的基础上，叠加几个句子间的transformer层 生成式模型： 本文提出了一种新的微调schedule，采用不同的optimizer应用于encoder和decoder，以减少两者间的
Text Summarization with Pretrained Encoders 论文笔记
CSer
10-24 926
Text Summarization with Pretrained Encoders 大致介绍 我们的工作是将bert用于文本摘要，并提出了生成式和抽取式文本摘要模型的框架 我们提出了基于bert的文档级的编码器 抽取式模型在这个编码器后面加了几个transformer层 生成式模型：我们提出新的微调方法（对encoder和decoder不一样）来缓解两者的不匹配（encoder被pretrain过） 综合两种方式的方法：微调两次，都微调 我们的贡献： 突出了文档编码的重要性（相对于近年来的复制
【论文阅读 EMNLP-2019】Text Summarization with Pretrained Encoders
土豆洋芋山药蛋的博客
03-02 695
Text Summarization with Pretrained Encoders Yang Liu and Mirella Lapata Institute for Language, Cognition and Computation School of Informatics, University of Edinburgh yang.liu2@ed.ac.uk, mlap@inf.ed.ac.uk EMNLP 2019 link: https://arxiv.org/abs/1908.08345
论文笔记 EMNLP 2019|Text Summarization with Pretrained Encoders
o11oo11o的博客
03-17 1768
文章目录1 简介1.1 创新2 方法2.1 抽取式摘要2.2 生成式摘要3 实验 1 简介 论文题目：Text Summarization with Pretrained Encoders 论文来源：EMNLP 2019 论文链接：https://arxiv.org/abs/1908.08345 代码链接：https://github.com/nlpyang/PreSumm 1.1 创新 使用BERT完成文档级的抽取式和生成式摘要任务。 2 方法 提出用于摘要的BERT结构(BERTSUM)如上图，每
请查收！顶会AAAI 2020录用论文之自然语言处理篇
语言智能技术笔记簿
02-23 1万+
2020年人工智能顶级会议AAAI录用的自然语言处理领域的研究论文已为您准备就绪，请查收！
ACL2020论文整理
qq_26884231的博客
08-24 3733
ACL2020论文整理目录ACL2020论文整理ACL2020接受文章列表Best PaperHonorable Mention Papers – Main ConferenceBest Theme PaperHonorable Mention Paper – ThemeBest Demonstration PaperHonorable Mention Papers – Demonstrations论文分类整理（自己感兴趣的方向，loading）预训练语言模型信息抽取关系抽取事件抽取文本生成基础任务图卷积神
Re64：读论文 BertSum Text Summarization with Pretrained Encoders & Fine-tune BERT for Extractive Summari
最新发布
诸神缄默不语的博客
03-28 640
《Text Summarization with Pretrained Encoders》论文阅读笔记
PreSumm模型
weixin_45259560的博客
05-29 773
在本文中，我们展示了如何在文本摘要中有效地应用BERT，并为提取性模型和抽象模型提出了一个通用框架。我们介绍了基于BERT的新颖文档级编码器，该编码器能够表达文档的语义并获得其句子的表示形式。我们的提取模型是通过堆叠几个句子之间的 Transformer层来建立在该编码器之上的。对于抽象性摘要，我们提出了一个新的微调计划，该计划对encoder和decoder采用不同的优化器，作为减轻两者之间不匹配的手段（前者经过预训练，后者没有）。我们还证明，两级微调方法可以进一步提高生成的摘要的质量。
Text_Summarization_with_Tensorflow-master.rar
08-02
深度学习：用tensorflow1.x实现文本摘要生成（包括模型框架和几个实例实现以及数据集）（使用了LSTM、Attention机制、beam search）
Get To The Point: Summarization with Pointer-Generator Networks
liuyingshudian的博客
11-20 859
seq2seq
Text Summarization 综述
热门推荐
张小彬的专栏
11-24 1万+
ABS 和 ABS+[Rush, 2015] A Neural Attention Model for Abstractive Sentence Summarization这篇 facebook 的论文是用神经网络来做生成式摘要的开山之作，后续的论文基本都会引用。而且在 github 上有开源的代码放出来，可以参考 facebook/NAMAS.模型的主要结构见下图(a)，即左边的那部分，其实本质上
深度学习----NLP-ELMO算法模型解剖
樱花落瓣
12-24 2136
文章目录简介Bidirectional 语言模型(1) forward language model(前向语言模型) and (2)backword language model（2）biLM(bidirectional language model)过程图线性组合总结 论文地址：https://arxiv.org/pdf/1802.05365.pdf 简介    ...
LinkNet with Pretrained Encoder and Dilated Convolution for HighResolution Satellite Image
qq_36321330的博客
04-12 737
Abstract D-LinkNet语义分割神经网络它采用encoder-decoder的结构、空洞卷积（dilated convolution）和预训练编码器（pretrained encoder）来完成道路提取任务。该网络采用LinkNet结构，中心部分具有空洞卷积层（dilated convolution）。Linknet结构在计算和存储方面是高效的。空洞卷积是一种在不降低特征图分辨率的前提...
seq2seq理解
啊噗啊噗
07-26 2517
Seq2Seq模型是RNN最重要的一个变种：N vs M（输入与输出序列长度不同）。 这种结构又叫Encoder-Decoder模型。 由于这种Encoder-Decoder结构不限制输入和输出的序列长度，因此应用的范围非常广泛，比如： 机器翻译。Encoder-Decoder的最经典应用，事实上这一结构就是在机器翻译领域最先提出的 文本摘要。输入是一段文本序列，输出是这段文本序列的摘要序...
创新实训(11)-生成式文本摘要之BertAbs
ttxs69的博客
07-01 1804
创新实训(11)-生成式文本摘要之BertAbs 1.简介 这是一个EMNLP2019的paper Text Summarization with Pretrained Encoders 的学习记录 2.模型介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kITDC9i6-1593584621882)(https://s1.ax1x.com/2020/07/01/NoqRdH.png)] 左边的是原始的Bert模型，右边的是用于文本摘要的Bert模型。 主要的区别是在最上
LeetCode 138 Copy List with Random Pointer
Opium_Z的博客
03-30 141
Problem: A linked list is given such that each node contains an additional random pointer which could point to any node in the list or null. Analyse: First of all, we should know what is deep copy and...
为文本摘要网络Pointer-Generator Networks制作中文复述训练数据
MrLittleDog的博客
11-05 8340
这里首先向大家推荐一篇论文https://arxiv.org/abs/1704.04368。这篇论文介绍了一个文本摘要网络，具体是怎样的，这里不作详细介绍。向大家推荐知乎上一篇介绍它的文章https://zhuanlan.zhihu.com/p/27272224，其余请自行了解阅读论文。 下面是pointer-generator的开源项目地址：https://github.com/abisee/...
text summarization with pretrained encoders
03-16
文本摘要是一种自然语言处理技术，它可以将长篇文本压缩成简短的摘要，以便更容易理解和阅读。预训练编码器是一种深度学习模型，它可以在大规模数据集上进行训练，以学习文本的表示。将预训练编码器用于文本摘要可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值