本文介绍了使用Encoder-Decoder RNN和注意力机制进行文本摘要的方法，包括大型词汇技巧、特征丰富的编码器捕获关键词、切换生成器指针模型处理稀有/未见过的词以及通过层次注意力捕捉文档结构。模型利用双向GRU，通过限制词汇表加速收敛，使用词性、内嵌和tf-idf特征丰富编码，以及软开关策略处理未知词汇。层次注意力机制使模型能识别关键句子和关键字。
模型介绍
Encoder-Decoder RNN with Attention and Large Vocabulary Trick
Encoder:双向GRU
Decoder: 单向GRU+attention+softmax层在目标词表中生成单词
Trick:每一个epoch 得到decoder的词汇表仅限于该批次的源文档中的单词，目标词典中最常用的单词也会被添加，直到词汇表达到一个固定的大小。这样做减小了softmax 层的大小，加快 了收敛速度。 这种方法很适合summary 中用，因为summary 大部分词来源于源文档。
Capturing Keywords using Feature-rich Encoder
文本摘要关键的挑战之一是确定文档中故事围绕的关键概念和关键实体，为每种标记类型的词汇表创建了基于查找的embeddiing，类似于word embedding 。对于源文档中的每个单词，我们只需从它的所有相关标记中查找它的嵌入，并将它们连接到一个长向量中，如图所示。在target side，我们继续只使用基于单词的嵌入作为表示。
我们分别对POS、nner标记和离散tf和idf值使用一个嵌入向量，它们与基于字的嵌入一
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
