论文标题:CogLTX: Applying BERT to Long Texts
论文链接:https://arxiv.org/abs/2008.02496
论文来源:NeurIPS 2020
一、概述
BERT由于其随文本长度二次增长的内存占用和时间消耗,在处理长文本时显得力不从心。通常BERT最大支持输入序列长度为512,这对于标准的benchmark比如SQuAD和GLUE数据集是足够的,但对于更加通常的情况下,比如更加复杂的数据集或者真实世界的文本数据,512的序列长度是不够用的。
相关工作
目前BERT处理长文本的方法有截断法、Pooling法和压缩法。本文提出的CogLTX(Cognize Long TeXts)属于压缩法的一种。下面简单介绍下这三种处理方法:
截断法
截断法的处理方式其实就是暴力截断,分为head截断、tail截断和head+tail截断。head截断就是从头开始保留限制的token数,tail截断就是从末尾往前截断,head+tail截断是开头和结尾各保留一部分。
Pooling法
将长文本分成多个segment,拆分可以使用暴力截断的方法,也可以使用断句或者划窗的方法。每一个segment都通过BERT进行encoding,然后对得到的[CLS]
的embedding进行max-pooing或者mean-pooling,亦或将max-pooing、mean-pooling进行拼接。如果考虑性能,只能使用一个Pooling的话,就使用max-pooing,因为捕获的特征很稀疏,max-pooling会保留突出的特征,mean-pooling会将特征打平。
这种方法有明显缺点,首先需要将多个segment进行encoding,文本越长,速度越慢。另外这种拆分文本的方式也牺牲了长距离token之间进行attention的可能性,举例来说,如下图,这是HotpotQA中的一个例子,解答问题的两个关键句子之间长度相差超过512,因此他们不会出现在任何一个segment里,因此没法做attention:
压缩法
压缩法是将长文本按照句子分为多个segment,然后使用规则或者单独训练一个模型来剔除一些无意义的segment。
使用滑窗一类的方法通常会将每个segment的结果做aggregate,通常这一类方法会使用max-pooing或者mean-pooling,或者接一个额外的MLP或者LSTM,但是这样牺牲了长程注意力的机会并且需要的空间复杂度,这样的复杂度在batch size为1,token总数为2500,BERT版本为large的情况下对于RTX 2080ti的GPU仍然太大。并且这种方法只能优化分类问题,对于其他任务比如span extraction,有个BERT输出,需要的空间来做aggregate。
CogLTX
BERT之所以难以处理长文本的问题根源在于其的时间和空间复杂度,因此另外一个思路是简化transformer的结构,但是目前为止这一部分的成果很少能够应用于BERT。
CogLTX的灵感来自working memory,这是人类用来推理和决策的信息储存系统。实验表明working memory每次只能保留5~9个item或者word,但是它却有从长文本中进行推理的能力。Working memory中的central executive,其功能就像有限容量的注意力系统,职责是协调综合信息。研究表明working memory中的内容会随着时间衰减,除非通过rehearsal来保持,也就是注意和刷新头脑中的信息,然后通过retrieval competition从长时记忆中更新忽略的信息用来推理和决策。
CogLTX的基本理念是通过拼接关键句子来进行推理。CogLTX的关键步骤是将文本拆分成多个blcok