SIGIR 2019 | 大纲生成：理解文档的内在内容结构

理想的大纲生成(Outline Generation, OG)模型能够很好地获取3个不同级别的一致性，即上下文段落之间的一致性、章节与章节标题的一致性、上下文标题之间的一致性。本文提出了一种新颖的层次结构神经网络生成模型(HiStGen)，其先预测章节序列边界，然后相应地生成章节标题序列。

论文地址:
https://arxiv.org/abs/1905.10039

引言

为了解决OG任务中3个不同级别一致性的问题。首先，对于上下文段落，本文介绍了一种马尔科夫段落独立性机制(Markov paragraph dependency mechanism)来识别章节边界。其次，本文提出了一种章节感知注意力机制(section-aware attention mechanism)确保章节与章节标题之间的语义一致性。最后，本文利用马尔科夫标题独立性机制(Markov heading dependency mechanism)以及一种身材机制(review mechanism)提升上下文标题(context heading)的一致性，以及消除章节标题的重复。实验结果表明本文提出的模型性能超过了SOTA序列生成模型。

数据集

本文实验基于数据集WikiOG，文档以及标题中的词全是小写并以空格切分，数字与非英字符全被丢弃。WikiOG数据集包含名人、城市、音乐以及它们的混合数据，对于其中的每个数据集，本文随机将它们切分为训练集(80%)、开发集(10%)、测试集(10%)。本文为输入文档与目标标题构建了2个独立的词表，它们分别包含13000、16000个常用词汇。未出现词统一用unk代替。

基准数据集与模型

WikiOG

为了学习、评估OG任务，本文构建一个新的基准数据集WikiOG。由于Wikipedia是公开的且容易搜集，同时Wikipedia中的大多数文档都包含大纲，本文采用Wikipedia作为源数据来构建其数据集WikiOG。具体地，本文从Wikipedia上收集了名人、城市、音乐三类文档。本文仅仅用了一级标题作为真实标签，更深级别标题的生成用于模型的学习。没有标题的文档以及一级标题数超过10的文档会被移除，WikiOG数据集大概包含175万个文档。

HiStGen

HiStGen采用了encoder-decoder的网络结构，HiStGen利用层次encoder来获取文档的表征。HiStGen中的decoder也是层次化的，其用于探索3个不同级别的一致性。

Encoder

在HiStGen中，我们利用word encoder来编码段落$p_m$中的词汇，利用paragraph encoder来编码文档$d$中的段落。段落$p_m$中的词$$w_{m,v}用其分布式表征$e_{m,v}$来表示，对于word encoder和paragraph encoder，我们都使用了双向GRU。

Word encoder

前向GRU：$({\overrightarrow{h}}_{m,1},...,{\overrightarrow{h}}_{m,v_m})$，后向GRU：$({\overleftarrow{h}}_{m,1},...,{\overleftarrow{h}}_{m,v_m})$。段落$p_m$的表征：$r_m=Concat({\overrightarrow{h}}_{m,v_m},{\overleftarrow{h}}_{m,1})$，其中$v_m$表示段落$p_m$的长度，$h_{m,t}$表示段落$p_m$中$t^{th}$词汇的隐层状态。

Paragraph encoder

每个段落的隐层表征$h_m$由前向段落编码(forward paragraph encoder)的隐层状态与后向段落编码(backward paragraph encoder)的隐层状态共同决定，具体如下：
$h_m=Concat({\overrightarrow{h}}_m,{\overleftarrow{h}}_m)$
其中，${\overrightarrow{h}}_m$表示前向的隐层状态，${\overleftarrow{h}}_m$表示后向的隐层状态。

Hierarchical Decoder

层次decoder的目标是为输入文档生成大纲，其包含章节边界预测和章节标题生成。

Section Boundary Prediction

章节边界预测，即通过章节边界标签 { l 1 , l 2 , . . . , l M } \{l_1,l_2,...,l_M\} {l1​,l2​,...,lM​}把一个文档 { p 1 , p 2 , . . . , p M } \{p_1,p_2,...,p_M\} {p1​,p2​,...,pM​}切分为多个章节 { s 1 , s 2 , . . . , s M } \{s_1,s_2,...,s_M\} {s1​,s2​,...,sM​}，其中 l m ∈ { 0 , 1 } l_m \in \{0,1\} lm​∈{0,1}。如果$l_m=0$，则$p_m$是内部段落；如果$l_m=1$，则$p_m$是章节的最后一个段落，需要生成相应的章节标题。本文提出了一中马尔科夫段落独立性机制来建模上下文段落的一致性，同时识别章节边界。马尔科夫段落独立性机制的关键在其假设上下文段落的一致性具有马尔科夫性，我们可以通过先前的段落来识别章节。如图2所示，我们使用当前段落$p_m$的隐层状态$h_m$、先前段落$p_{m-1}$的隐层状态$h_{m-1}$以及后一时刻段落$p_{m+1}$的隐层状态$h_{m+1}$来预测边界标签$l_m$：
$p(l_m=1|p_{\le m}=\sigma (h_{m-1}\cdot W_1\cdot h_m+h_m\cdot W_2\cdot h_{m+1}))$
$p(l_m=0|p_{\le m}=1-\sigma (h_{m-1}\cdot W_1\cdot h_m+h_m\cdot W_2\cdot h_{m+1}))$

其中，$\sigma$是sigmoid函数，$W_1,W_2$是可学习的参数。

Section Heading Generation

如果$l_m=1$，我们需要基于检测到的章节$s_n$来生成标题$y_n$。我们利用section-aware attention mechanism来获取section-aware的上下文向量，其能确保更多的目标章节内容信息能被关注到。Markov heading dependency mechanism为新标题的生成维护先前生成标题的隐层状态，同时提升标题之间的一致性。Review mechanism利用生成标题的上下文向量于排除重复标题的出现。
$y_n$中$u^{th}$词汇的隐层状态$h_{n,u}^s$定义如下：
$h_{n,u}^s=f_s(w_{n,u-1},h_{n,u-1}^s,c_{n,u}^D,c_{n,u})$
其中，$f_s$是GRU单元，$w_{n,u-1}$是u-1步的词汇。选择词汇$w_{n,u}$的条件概率：
$p(w_{n,u}|w_{\le n,<u},d)=f_g(w_{n,u-1},h_{n,u}^s,c_{n,u}^D,c_{n,u})$
其中，$f_g$是非线性函数，$c_{n,u}$表示section-aware上下文向量，$c_{n,u}^D$表示heading-aware上下文向量。
对于章节感知上下文向量：
$c_{n,u}={\sum }_{k=1}^{K_n}{a}_{u,k}\cdot h_{K_1+K_2+...+K_{n-1}+k}$
$a_{u,k}=\frac{exp(h_{K_1+K_2+...+K_{n-1}+k}\cdot h_{n,u-1}^s)}{{\sum }_{i-1}^{K_n}exp(h_{K_1+K_2+...+K_{n-1}+i})\cdot h_{n,u-1}^s}$
对于马尔科夫标题独立性机制：
如果$n>1$，则$h_{n,0}^s=W_3\cdot z_{n-1}+W_4\cdot h_m+b_1$。如果$n=1$，则$h_{n,0}^s=W_4\cdot h_m+b_1$。其中$W_3,W_4,b_1$，是可学习的参数，$h_m$是段落$p_m$的表征，$p_m$是章节$s_n$的最后一段。其中，
$z_{n-1}=\frac{1}{U_{n-1}}{\sum }_{u=1}^{U_{n-1}}{h}_{n-1,u}^s$
对于审查机制：
R n , u = { h 1 , 1 s , h 1 , 2 s , . . . , h n , u − 1 s } R_{n,u}=\{h^s_{1,1},h^s_{1,2},...,h^s_{n,u-1}\} Rn,u​={h1,1s​,h1,2s​,...,hn,u−1s​}
$c_{n,u}^D={\sum }_{i,,j=1}^{n,u-1}{\beta }_{n,u}^{i,j}\cdot h_{i,j}^s$
${\beta }_{n,u}^{i,j}=\frac{exp(e_{n,u}^{i,j})}{{\sum }_{p,q=1}^{n,u-1}}exp(e_{n,u}^{p,q})$
$e_{n,u}^{i,j}=v^{T}tanh(W_5{h}_{i,j}^s+W_6{h}_{n,u-1}^s+b_2)$
R n , u + 1 = R n , u ⋃ { h n , u s } R_{n,u+1}=R_{n,u}\bigcup \{h^s_{n,u}\} Rn,u+1​=Rn,u​⋃{hn,us​}
其中，$R_{n,u}$是heading-aware审查集合，$W_5,W_6,b_2$是可学习的参数。
###实验
本文实验是基于数据集WikiOG，我们在一台k80上训练了12轮次，花费了将近2天的时间。实验中，我们采用了多个基线模型(HiStGen-P、HiStGen-S、HiStGen-H、HiStGen-R、HiStGen-PSHR)以及多种step-wise的基线模型，同时我们采用了EMoutline、EMsec、Rougehead做为评价指标。实验结果显示，在WikiOG数据集上，我们的模型明显优于其他模型。


###结论
本文将大纲生成任务作为一种层次结构预测问题，提出了一种新颖的层次结构神经网络生成模型(HiStGen)。同时本文也构建了一个基本数据集WikiOG，并在该数据集上对比了HiStGen模型与step-wise基线模型的性能。数据集WikiOG不是公开数据集，如果能在公开数据集上验证HiStGen的模型性能，则更有说服力。

扫码识别关注，获取更多新鲜论文解读