《A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents》论文笔记

Abstractive Summarization of Long Documents》论文笔记
)

长文档生成式摘要的话语感知注意模型

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

摘要

神经生成式摘要模型在短文档方面取得较好的成绩，本文提出一个生成式摘要模型，用于单一的，长文档格式的文章。我们的方法包括一个新的分层编码器，模型的话语结构文件，一个话语感知解码器生成摘要。我们的结果对于大型科研论文数据集，模型显著优于最先进的模型。

Introduction

Seq2Seq难以处理较长的序列，因为在每个解码步骤中，解码器需要学会构造一个上下文向量，从源序列中的所有令牌捕获相关信息。我们的模型包括一个分层编码器，捕获文档的话语结构和一个生成摘要的话语感知解码器。我们的解码器关注不同的话语部分，并允许模型更准确地表示来自源的重要信息，从而产生更好的上下文向量。

模型

编码：扩展了RNN编码器到捕获文档的分层RNN话语结构。我们首先对每个语篇部分进行编码，然后对文档进行编码。
解码：话语注意解码器。直观地看，在每一个解码时间步，除了文档中的单词外，我们还会注意到相关的话语部分(图1中的“section attention”块)，然后我们使用与话语相关的信息来修改单词级注意功能。

解码器复盖长序列时，神经生成模型往往重复短语的地方
softmax层在多个时间步上多次预测相同的短语。为了解决这个问题，我们跟踪注意范围，以避免重复关注。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。¹

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分