Fine-tune BERT for Extractive Summarization

最新推荐文章于 2024-04-25 09:48:37 发布
最新推荐文章于 2024-04-25 09:48:37 发布
阅读量1.2k 收藏 1
点赞数 4
文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64165343/article/details/124060157
版权
该博客介绍了如何将BERT应用于抽取式摘要，提出BERTSUM模型。通过对BERT的输入序列和embedding进行修改，使得BERT能够输出sentence-level的表示，并在CNN/DM和NYT数据集上实现SOTA。实验表明，trigram blocking机制和 interval segment embeddings 对提升模型性能有显著作用。
摘要由CSDN通过智能技术生成

中文标题：精调BERT做抽取式摘要

论文链接：​​​​​​https://arxiv.org/pdf/1903.10318.pdf

发表：EMNLP 2019

组织：爱丁堡大学

开源链接：GitHub - nlpyang/BertSum: Code for paper Fine-tune BERT for Extractive Summarization

Abstract

本文将BERT用于抽取式摘要，提出了BERT的一个变体：BERTSUM。

1. Introduction

作者在本文主要专注于利用BERT来解决抽取式摘要的问题，作者发现一个扁平的句间Transformer的结构效果最好，在CNN/DM和NYT两个数据集上达到了SOTA。

2. Methodology

抽取式摘要的主要思想是对于一个文档中的句子集合d=(sent_{1},sent_{2},...,sent_{m})，模型预测

最低0.47元/天 解锁文章
卡其脱离太太太
关注
Transformer大模型实战 训练BERTSUM 模型
AI架构设计之禅
08-25 793
Transformer大模型实战 训练BERTSUM 模型 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来
Fine-tune BERT for Extractive Summarization（有代码pytorch）
真的是个瘦子
01-14 4498
本论文是 extractive summarization 摘要提取通常被定义为一个二分类问题，二分类问题表明这个句子是否在这个摘要中。 我们的提取模型是建立在这个编码器之上，通过堆叠几个句子间Transformer来捕获用于提取句子的文档级特征。 抽取结构使用encoder-decoder结构，将同一个经过预先训练的BERT编码器与随机初始化的Transformer结合起来。 我们设计了一个新...
Fine-tune BERT for Extractive Summarization中文数据集LCSTS复现
qq_41961237的博客
03-15 2191
目前有关于Fine-tune BERT for Extractive Summarization代码只有英文数据集，未曾包含中文LCSTS的数据集，疫情在家期间尝试将代码转换到中文数据集中。 ** 一、数据转换篇 ** 根据源代码中对数据格式的要求，一个story文件中包含原文和摘要，以@highlight进行区分。 所以我们首先需要将原LCSTS数据集进行转换，原数据集的格式如下：经过转换后的数...
《Fine-tune BERT for Extractive Summarization》论文分享.pptx
09-23
适用于ppt分享
Fine-tune BERT for Extractive Summarization代码复现数据处理篇
qq_41961237的博客
03-09 1772
疫情期间在家学习，期间学习到Fine-tune BERT for Extractive Summarization。将bert模型运用于抽取式文本摘要中，第一部分是数据处理篇。 代码复现需要的文件包，原论文都会提供的有，其GitHub链接 一、环境要求 pytorch=1.4.0,python=3.6 另外需要安装StanfordCoreNLP（数据处理部分的重点安装部分，也是难点） 我的电脑系统...
BertSum:纸的代码微调BERT，用于提取摘要
05-03
该代码是针对纸质Fine-tune BERT for Extractive Summarization （ ） ！新：请查看我们的其中包含受过训练的模型 CNN / Dailymail的结果（25/3/2019）： 楷模 ROUGE-1 ROUGE-2 ROUGE-L 变压器基线 40.9 ...
论文Extractive Summarization as Text Matching
ws_nlp_的博客
06-22 1451
论文Extractive Summarization as Text Matching详解 文本匹配式摘要抽取 概要 大多数摘要抽取都是单独抽句子，然后使用模型来观察句子间的相似关系。 我们假设摘要抽取是一个匹配工作，与文档向量最相似的句子就是文本的摘要。 （经过分析句子级和摘要级的抽取分析，我们相信我们的假设是有根据的） 第一章 介绍 在本文中，我们提出了摘要级的框架。将摘要抽取转换为摘要配对工作。主要思想是，一个好的摘要应该与整个文章的语义更加相似（相对于其他摘要）。 学习每一个文本片段的向量，然后使用
Extractive Summarization as Text Matching翻译
nopSled
04-27 662
摘要
Extractive Summarization as Text Matching论文学习
hxshine的博客
04-14 787
一、总结 代码：https://github.com/maszhongming/MatchSum 感觉论文讲的不清不楚的啊，一头雾水。
#Paper Reading# Neural Extractive Summarization with Side Information
John159151的专栏
05-08 1874
论文大体内容： 这篇通过增加side information（title, image caption）到单文档抽取式自动文本摘要中，使用层次式的document encoder和attention-based extractor的方法，在覆盖的信息量以及流畅性上面比没加side information的方式有了明显的提升。
Extractive Summarization as Text Matching论文阅读笔记
sdauguanweihong的博客
09-03 693
Motivation: 一般的抽取式文本摘要方法都是sentence-level的，即对每个句子进行打分，然后选出一些句子来构成摘要。作者通过实验验证了这种sentence-level的抽取式方法可能并不是最优的，因此作者提出一种summary-level的抽取式摘要方法，将文本摘要转化为一个文本匹配问题，使得选出的摘要与原始文档在语义空间中尽可能的相似。 Method 这篇文章其实一共分为两步，第一步是生成候选摘要，第二步是利用文本匹配的方法对候选摘要重排。 第一步生成候选摘要其实还是sentence-l
#Paper Reading# SummaRuNNer: A RNN based Sequence Model for Extractive Summarization of Documents
John159151的专栏
04-24 1975
论文大体内容： 这篇文章提出了一个基于GRU-RNN的模型，来完成抽取式自动文本摘要任务。通过与其它state-of-the-art的结果相比，发现这种方法能够达到更好的效果。
Fine-tune BERT for Extractive Summarization代码复现训练篇
qq_41961237的博客
03-12 1631
前面我们尝试了数据处理部分的代码复现，一般来说此时代码所需要的基础的环境已经配置完成，并且绝大多数文件也都已经下载完成。不过在复现训练代码的时候依旧出现了一些问题。采坑记录，希望帮到后来人！ ** 一、bert-base-uncased下载 ** 因为我们使用的pytorch版本的bert预训练模型，因此需要下载预训练文件，当我们运行代码的时候就会自动下载。 当时通常需要科学上网，一般用国内的网...
文本摘要综述-bertsum、BottleSum、TextRANk
古月哲亭
08-18 1828
BottleSum——文本摘要论文系列解读/：https://zhuanlan.zhihu.com/p/84730122 主题关键词信息融合的中文生成式自动摘要研究：http://www.aas.net.cn/fileZDHXB/journal/article/zdhxb/2019/3/PDF/zdhxb-45-3-530.pdf Code for paper Fine-tune BERT for 抽取式文本摘要：https://github.com/nlpyang/BertSum 【ACL2019】文本摘
关于bert_sum中的总结（2）
weixin_41710583的博客
07-26 805
上次主要总结了抽取式的收获，本次主要总结的是生成式的收获以及遇到的问题。 数据的处理部分，已经在上次总结过了。这次主要是围绕模型的部分、预测的细节部分进行总结。 一、模型部分 1、encoder 主要是对对话内容中得到的数据，进行语义转换。得到更高维的数字特征，进行计算。代码中采用的是bert的预训练模型。将对话内容分割后通过bert预训练模型，转换为对应的数字。（这里的数字为对应token的索引,和词向量中的语义特征相对应。）将对应的对话识别片段segment和掩码（数字不为0的标记1，为0的标记0
学习笔记-Bert及其变体调参经验
weixin_44358484的博客
05-23 7448
Bert调参： 1、bert的微调可以将参数设置为： bach size ：设置为16或者32 learning rate（Adam）：5e-5、3e-5、2e-5（比较小的学习率） num of epochs：2，3，4 2、Bert的微调比较容易，可以设置验证集，进行一定范围的Grid Search 3、可以在Bert后面接一些层，比如CRF层、Linear层、BiLSTM层 4、为了确保后接层学习的好，可以对后接层设置额外的、较大的学习率 Bert变体 RoBERTa: RoBE
BertSum：深度学习文本摘要的新里程碑
最新发布
gitblog_00053的博客
04-25 601
BertSum：深度学习文本摘要的新里程碑 去发现同类优质开源项目:https://gitcode.com/ 是一个基于预训练模型BERT的文本摘要工具，由自然语言处理领域的研究人员Nan Li和Yang Liu等人开发。该项目旨在利用最先进的Transformer架构进行序列到序列的学习，从而实现高效、高质量的自动文本摘要。 技术分析 BertSum的核心是将BERT（Bidirectional...
How to Fine-Tune BERT for Text Classification?
05-19
4. Fine-tune the BERT model: You can fine-tune the BERT model by training it on your dataset. During training, you can adjust the hyperparameters such as the learning rate, batch size, and number of ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值