创新实训(11)-生成式文本摘要之BertAbs

创新实训(11)-生成式文本摘要之BertAbs

1.简介

这是一个EMNLP2019的paper Text Summarization with Pretrained Encoders 的学习记录

2.模型介绍

左边的是原始的Bert模型，右边的是用于文本摘要的Bert模型。

主要的区别是在最上方输入文档时原始的Bert模型只用一个[CLS]标记，用于文本摘要的Bert模型每个句子开头都有一个[CLS]标记。在下面的Segment Embeddings中也对不同的句子进行区分，然后经过Transformer层得到的输出也不同，在每个句子的起始部分[SEP]变成了[CLS]标记，用来表示句子基本的含义。

Encoder就是如上图所示，Decoder使用了随机初始化的6层的Tranformer，然后使用两个不通的优化器进行分别优化。并且使用了两步训练的方式，首先训练一个提取式的模型，然后在此基础上再去训练生成式的模型，可以提高生成式模型的效果。