分割文本_《双层Transformer辅以连贯性建模用于文本分割》阅读笔记

标题：Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation
作者：Goran Glavaš, Swapna Somasundaran
备注：AAAI 2020
原文链接： https:// arxiv.org/abs/2001.0089 1

简介

文本的连贯性与文本的分割具有本质上的紧密联系，在分割后，同一部分的文本之间的连贯性应当强于不同部分的文本。如下图，共四种分割方式，其中T1均描述荷兰历史，T2均描述荷兰地理，T3,T4包含两个部分的句子。且T1的连贯性强于T3和T4，这说明第四句应该是一个新部分的起始。

图1 语义连贯性与文本分割的关系

依据语义连贯性解构长文本能够提升文本的可读性，有益于下游任务(检索、摘要、主题分类等)。而现存的文本分割方法都仅仅隐式的使用连贯性这项特征。

本文提出的监督模型使用双层Transformer网络编码句子序列，除了以预测分割结果作为目标以外，还对连贯性进行建模并应用在训练过程中。迫使模型预测连贯性更强的文本段落作为分割结果。进一步，文章提出的模型能够实现零样本语言迁移，其使用英文维基百科训练的模型能够在其他语言上获得较好的分割效果。

模型结构

模型接收定长句子序列作为输入，字符编码由预训练词嵌入和位置嵌入连接得到。句子序列首先通过字符级Transformer得到句子表示，再经句子级Transformer强化上下文信息。编码