Paper Reading《Taming Pretrained Transformers for Extreme Multi-label Text Classification 》

@time：2020-11-30

github code

arxiv paper

SIGKDD 2020 Applied Data Track

1. 主要工作

针对极端多标签文本分类（Extreme Multi-label Classification, XMC）问题，即给定输入文本，则从大型标签集中返回最相关的标签。

为解决Label输出空间巨大及稀疏性问题，本文提出了针对XMC问题微调的deep transformer结构(BERT, RoBERTa, XLNET)的X-Transformer。在具有500万个标签的Wiki-500K数据集上，X-Transformer的prec@1为77.28％，并在Amazon的product2query数据集相对于baseline模型Parabel在prec@1上提高了10.7％。

2. 问题描述及难点

2.1 问题描述

极端多标签文本分类（XMC）：给定输入文本实例，从巨量标签集合中返回最相关的标签，其中标签的数量可能在数百万或更多。若将XMC问题视作学习一个得分函数$f:X\times \mathcal{Y}\to \mathbf{R}$，其最终目标（instance，label）对$(\mathbf{x},\mathbf{y})$映射到得分$f(\mathbf{x},\mathbf{y})$。优化目标使得高度相关的$(\mathbf{x},\mathbf{y})$对具有较高的分数，而无关的对具有较低的分数。

Amazon上进行产品检索时输入第一个词后剩余的商品类型联想就是个典型的例子，例如输入文本"kitchenaid"作为$\mathbf{x}$，检索框中会依次推荐的标签$\mathbf{y}$为"kitchenaid kitchen", "kitchenaid timer"等等。

2.2.1 Extreme Label Space

极大的标签空间导致函数参数量巨大。

具有100万个标签的多标签问题同GLUE中的MNLI问题相比参数量扩大了50万倍。XMC问题在2080Ti上用XLNET_large在batch_size=1的情况下进行后反馈传递就会内存溢出。

2.2.2 Label Sparsity

1. 上述问题也带来了标签稀疏性的问题，导致了”长尾“标签分布的问题。

   

   在wiki-500K数据集上每个标签中占100条样本以上的只占总标签数的2%。

2.3 Transfer Learning Failed in XMC

1. Words2vec, Glove: 文本表示之后是固定的不能根据上下文本具体改变。

2. Elmo，GPT-2：基于Autoregressive的一阶段PTM，即不用finetune，可以直接用于下游任务，更便于迁移学习，但是代价之一就是失去了模型表达能力。

3. BERT：基于Auto-Encoder的两阶段PTM，需要finetune之后进行下游任务。

4. XLNET：基于Auto-Regressive的两阶段PTM，且是排列语言模型和双流自注意力机制。

   BERT强于Elmo和GPT-1最重要的一个原因就是采用了Auto-Encoder的结构，根据上下文单词来预测输入X中被随机Mask掉的单词。（其中Elmo是个假“上下文”，是LSTM自左向右的隐节点状态简单拼接了自右向左的，本质上还是Auto-Regressive的，并未同时用到上下文。）

   但Mask的方法也是限制BERT地方，在下游微调时不允许文本被MASK，所以造成了预训练阶段和微调阶段数据不统一。；且如果一个句子中多个token被mask掉，预测其中一个token时不能利用其它被mask掉的token的显式语义。

   XLNET就针对如何用单向AR结构结合上下文以及消除MASK做出了创新。

   • Permutation LM

   考虑一个input sequence$[x_1,x_2,x_3,x_4]$，想令模型学习预测$x_3$的位置。为使其能考虑到上下文，既能看到$x_1,x_2$又能看到$x_4$。可以固定住$x_3$的位置，然后随机排列组合四个单词的输入顺序，共有$A_4^4=24$种，比如$2\to 4\to 3\to 1$。看上去仍然是个从左到右的AR语言模型，但是其实通过对句子中单词排列组合，把一部分Ti下文的单词排到Ti的上文位置中，但是形式上看上去仍然是从左到右在预测后一个单词。

   
   举个栗子，比如输入语句为“我爱中国”。
   比如序列$1\to 2\to 4\to 3$，在预测permutation之后的第三个位置时，也即第一个词是“我”第二个词是“爱”的条件下，求P(第四个词是“国”)。
   也即原文中的$P(X_{z_t}=x)=P(x_{z<t},z_t)$.
   其中$z_t$表示在原语句要预测的位置，$t$表示permutation中的id，也就是在新的排列顺序中的id，在该例中$1(1)\to 2(2)\to 4(3)\to 3(4)$，括号中的id即为$t$。
   本例概率化表示则为$P(X_4{=}^{\prime }{\text{国}}^{\prime }|X_1,X_2;4)$。

   2. Two-Stream Self-Attention

   模型的实现过程中还有两点要求

   • 在预测当前单词的时候，比如上图一 $3\to 2\to 4\to 1$，预测2时，只能使用2位置信息，不能使用2的内容信息。

   • 在预测其他单词的时候，比如上图一 $3\to 2\to 4\to 1$，预测1时，1能看到324所有的位置和信息，可以使用324单词的内容信息。

     而单一的Transformer不能满足该种要求，所以引入双流自注意力机制。

     Content_Stream

     预测其他单词时，可以使用自己的位置与内容。

     $h_{zt}^{(m)}=$Attention$\left(Q=h_{z_t}^{(m-1)},KV=h_{z\le t}^{(m-1)};\theta \right)$

     

     Query_Stream

     预测自己时，只是用本身位置。

     $g_{z_t}^{(m)}=$ Attention $\left(Q=g_{z_t}^{(m-1)},KV=h_{z<t}^{(m-1)};\theta \right)$

     $x_{z<t}$表示包含上下文的内容信息，只用了$z_t$，即只查询到了表示目标的位置信息，K与V的计算不包含Q，即对角线元素$x_{z_t}$不参与计算，无法获得所在位置其自身的内容信息。

     
     对于Content Stream而言，每一行每一列都是对应着input_text中的origin_id：
     $\left[\begin{array}{rrrr}1& 1& 1& 1\\ 0& 1& 1& 0\\ 0& 0& 1& 0\\ 0& 1& 1& 1\end{array}\right]$
     对于本例中的$3\to 2\to 4\to 1$而言:
     对于1来说，在计算Content Stream的Attention时可以看到$toke{n}_1,toke{n}_2,toke{n}_3，toke{n}_4$。但在计算Query Stream时则只能看到$toke{n}_{2,3,4}$。则第一行向量也即为$[0,1,1,1]$。后面亦相同。
     **注：**此处的0&1都是标识向量，并不是1和0的数值，比如在Query Stream中第三行的$[0,0,0,0]$并不代表0向量。

   双流自注意力机制其实也是另一种实现MASK的变种。Query主要是记录输入文本的position_id。

不过以上两个特点也决定了XLNET要比BERT和RoBERTa慢1.8倍。

3. 解决模型方法思路

XMC的最终目标是通过样本集合构造得分函数$f(\mathbf{x},l)={\mathbf{w}}_l^T\varphi (\mathbf{x})$，来预测$top-b$个标签 f b ( x ) = Top ⁡ − b ( [ f ( x , 1 ) , … , f ( x , L ) ] ) ∈ { 1 , … , L } f_{b}(\mathbf{x})=\operatorname{Top}-\mathrm{b}([f(\mathbf{x}, 1), \ldots, f(\mathbf{x}, L)]) \in\{1, \ldots, L\} fb​(x)=Top−b([f(x,1),…,f(x,L)])∈{1,…,L}。

$\varphi (\mathbf{x})$代表输入文本的encoding形式，$\mathbf{W}=[{\mathbf{w}}_1,\cdots ,{\mathbf{w}}_{\mathbf{l}}{]}^T\in {\mathbb{R}}^{L\times d}$是bottleneck layer.

3.1 Semantic Label Indexing

为解决上述提到的问题，论文利用了层次聚类将XMC问题转化为了更小的K个输出空间的子问题：

聚类的簇可以用 C ∈ { 0 , 1 } L × K \mathbf{C}\in\{0,1\}^{L\times K} C∈{0,1}L×K，$c_{lk}=1$表示标签$l$属于簇$k$。例如wiki-500K的数据集，将L=500000聚类到了K=8000，99.4% 的clusters里都超过了100个样本数，压缩比率低至1.6%。

$\varphi (x)$的编码具体用了以下两种形式：

1. Label embedding via label text

   标签的文本信息。加入外部知识。e.g. Wiki-500K中标签信息的简短介绍。

   ${\psi }_{\text{text-emb }}(l)=\frac{1}{|\mathrm{text}(l)|}{\sum }_{w\in \mathrm{text}(l)}{\varphi }_{\text{xlnet }}(w)$

   具体形式是利用XLNET的对每一个token进行词嵌入(token_dim=$1\times 1024$)后求和然后平均池化得到标签的向量表示。

2. Label embedding via embedding of positive instances

   从标签内的样本得到标签表示。Positive Instance Feature Aggregation (PIFA)。

   $\begin{array}{rl}{\psi }_{\text{pifa-tfidf }}(l)={\mathbf{v}}_l/\Vert {\mathbf{v}}_l\Vert ,{\mathbf{v}}_l& =\sum _{i:y_{il}=1}{\varphi }_{\mathrm{t}\mathrm{f}-\mathrm{i}\mathrm{d}\mathrm{f}}\left({\mathbf{x}}_i\right),l=1,\dots ,L\\ {\psi }_{\text{pifa-neural }}(l)={\mathbf{v}}_l/\Vert {\mathbf{v}}_l\Vert ,{\mathbf{v}}_l& =\sum _{i:y_{il}=1}{\varphi }_{\text{xlnet }}\left({\mathbf{x}}_i\right),l=1,\dots ,L\end{array}$

   其中 $i:y_{il}=1$表示属于现在这个label$l$对应的所有样本；$\psi (l)$则代表各自标签利用TF-IDF或XLNET向量表示后所求得的单位向量表示。$8192=2^{13}$

   

3.2 Deep Transformer as Neural Matcher

SLI之后，构建一个分类器：

$g(\mathbf{x},k)={\mathbf{w}}_k^T{\varphi }_T(\mathbf{x}),k=1,\dots ,K$

其中$K$是聚类个数，$\mathbf{W}=[{\mathbf{w}}_1,\cdots ,{\mathbf{w}}_{\mathbf{K}}{]}^T\in {\mathbb{R}}^{K\times d}$。也即将原来的样本点 { ( x i , y i ) : i = 1 , ⋯   , n } \{(\mathbf{x_i},\mathbf{y_i}):i=1,\cdots,n\} {(xi​,yi​):i=1,⋯,n}空间变换至 { ( x i , m i ) : i = 1 , ⋯   , n } \{(\mathbf{x_i},\mathbf{m_i}):i=1,\cdots,n\} {(xi​,mi​):i=1,⋯,n}，其中 m i ∈ { 0 , 1 } K = b i n a r i z e ( C T y i ) \mathbf{m_i}\in \{0,1\}^K=binarize(C^T\mathbf{y_i}) mi​∈{0,1}K=binarize(CTyi​)。也即$M=YC,Y\in {\mathbb{R}}^{N\times L},C={\mathbb{R}}^{L\times K}$。

源码中用了逻辑回归和SVM

分类器训练时的Loss为squared hinge loss：

$\begin{array}{rl}\underset{\mathbf{W},\theta }{\min }& \frac{1}{NK}\sum _{i=1}^N\sum _{k=1}^K\max {\left(0,1-{\tilde{M}}_{ik}g(\mathbf{x},k;\mathbf{W},\theta )\right)}^2\\ \text{ s.t. }& g(\mathbf{x},k;\mathbf{W},\theta )={\mathbf{w}}_k^T{\varphi }_{\text{transformer }}(\mathbf{x})\end{array}$

也就是 L h i n g e = max ⁡ { 0 , 1 − y ^ ⋅ y } L_{hinge}=\max\{0,1-\hat{y}\cdot y\} Lhinge​=max{0,1−y^​⋅y}和$L_{L2}=(y-\hat{y}{)}^2$的结合。 M ~ i k = 2 M i k − 1 ∈ { − 1 , 1 } \tilde{M}_{ik} = 2M_{ik} - 1 ∈ \{-1, 1\} M~ik​=2Mik​−1∈{−1,1}

不同loss之间的可视化变现：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LcuzFQQO-1606821955023)(https://gitee.com/heisenberg1996/Typora_pictures/raw/master/loss_overview.svg)]

对输入句长的讨论

文中针对input sequence length的进行了讨论。本文对seq_len=512/128进行对比发现效果差别不大。在后续实验中都用了seq_len = 128提升计算效率。

3.3 Ranking

再用一个线性排序器one-vs-all$h(x,l)={\mathbf{w}}_{\mathbf{l}}^{\mathbf{T}}\varphi (\mathbf{x})$对所属簇类标签进行排序。

源码中用了逻辑回归和SVM

在ranking的过程中运用到了两个tricks：

1. Teacher Forcing Negatives (TFN)

   为了在反向更新权重时提升运算效率并节省运算空间，我们在back propagation时一般都要进行负采样。本文在负采样抽样时只包含了与groudtruth $l$ 标签属于同一簇的实例。

   TFN则是个在RNN中运用极多的trick:

   • Autoregressive 模式下，$t$时刻的输入是$t-1$输出${\hat{y}}_{t-1}$
   • Teacher-Forcing 模式下，$t$时刻的输入是 Ground-truth 语句中的$y_{t-1}$。

   一种能够有效避免RNN中错误累积的方法。（比如${\hat{y}}_{t-1}$是错误的那后续无法修正将错误传递，最后输出时累积了前面的错误之和。）在加快模型收敛速度的同时，是保证 Transformer 模型能够在训练过程中完全并行计算所有token的关键技术。

   但同时也会带exposure bias的问题。即“曝光误差 ”。在test集上没有groundtruth的信息，训练和预测是在不同的分布中推断出来。好比平常做测验天天抄答案，一道期末考试啥都不会了。

   一般的解决思路是Scheduled Sampling：

   1. 模型在训练过程中的每一个steps，有$p$的概率选择使用 teachering-forcing，有$1-p$的概率选择使用 Autoregressive。
   2. 模型在训练前期，$p$应该尽可能的大，这样能够加速收敛；而在快要结束训练的时候， $p$尽可能的小，让模型在 Autoregressive 的方案中尽可能的修复自身生成的错误。

   $M\in {\mathbb{R}}^{6\times 4},Y\in {\mathbb{R}}^{6\times 20},C\in {\mathbb{R}}^{20\times 4}$

   

   例如在上图中，以样本点$x_4$为例，其正标签集合为 y 4 + = { 6 , 9 , 10 , 16 , 17 } y_4^+=\{6,9,10,16,17\} y4+​={6,9,10,16,17}，所以M矩阵中$m_4\leftarrow [0,1,0,1{]}^T$。训练时$m_4$的候选label list为 { 6 , 7 , 8 , 9 , 10 , 16 , 17 , 18 , 19 , 20 } \{6,7,8,9,10,16,17,18,19,20\} {6,7,8,9,10,16,17,18,19,20}。则负标签样本 s ( m ^ 4 ∣ c ) / y 4 + = { 7 , 8 , 18 , 19 , 20 } s(\mathbf{\hat{m}}_4|c)/y_4^+=\{7,8,18,19,20\} s(m^4​∣c)/y4+​={7,8,18,19,20}。

2. Matcher-aware Negatives (MAN)

   为了解决exposure bias的问题，选择使用了Matcher-aware Negatives的方法。MAN方法借鉴了Scheduled Sampling的思路，将groudtruth与上一个隐状态预测的label所在的簇相互融合（对于binary数据其实相当于取并集）

   M ′ = M + M ^ = Y C + M ^ , M ^ ∈ { 0 , 1 } N × K \mathbf{M}^{\prime}=\mathbf{M}+\hat{\mathbf{M}}=\mathbf{Y C}+\hat{\mathbf{M}},\hat{\mathbf{M}}\in\{0,1\}^{N\times K} M′=M+M^=YC+M^,M^∈{0,1}N×K

$f(\mathrm{x},l)=\{\begin{array}{ll}\sigma \left(g\left(\mathrm{x},c_l\right),h(\mathrm{x},l)\right),& \text{ if }{c}_l\in g_b(\mathrm{x})\\ -\infty ,& \text{ otherwise }\end{array}$

最后用一个非线性激活函数$\sigma ()$当bottleneck layer。

4. 实验结果评估

4.1 数据集，评估指标及实验设置

4.1.1 数据集

1. XMC Benchmark Data

   Eurlex-4K,Wiki10-31K, AmazonCat-13K, Wiki-500K

2. Amazon Prod2Query-1M

4.1.2 评估指标

Precision@k(k=1,3,5)

Recall@K(k=1,3,5)

4.1.3 实验设置

• PTM: BERT, RoBERTa, XLNET
• PTM layers: 24
• input seq len: 128
• batch size: 16
• lr: { 4 , 5 , 6 , 8 } x 1 0 − 5 \{4,5,6,8\}x10^{-5} {4,5,6,8}x10−5

4.2 实验结果

4.2.1 XMC Benchmark结果

${\varphi }_{\text{fnt-xlnet }}\oplus {\varphi }_{\text{tfidf }}$代表XLNET向量表示后拼接TF-IDF向量

相对于AttentionXML提高了0.1-1.4%。

4.2.2 Amazon 实验结果

4.2.3 消融实验

1. ID={0,1,2}实验结果证明：TFN+MAN更有效
2. ID={2,3,4}实验结果证明：XLNET≈RoBERTa>BERT
3. ID={4,5,6}实验结果证明：在Eurlex-4K中，text_emb更好；在Wiki-500K中，xlnet_emb更好。与Eurlex-4K相比，Wiki-500K标签文本的噪声更大
4. ID={7,8,9}实验结果证明：${\varphi }_{\text{fnt-xlnet }}\oplus {\varphi }_{\text{tfidf }}\oplus {\varphi }_{\text{text-emb}}$更有效

该组的余相甫在20年10月延续了该思路，在arxiv放了最新的工作进展：
PECOS: PREDICTION FOR ENORMOUS AND CORRELATED OUTPUT SPACES

1. 用了比较新的聚类方法

   • K-means
   • Spherical K-Means
   • recursive B-ary partitioning approach clustering(递归二分区聚类)

2. 文本表示将PIFA与label text feature相融合

   $\psi (l)={\alpha }_l{\psi }_{LF}(l)+(1-{\alpha }_l){\psi }_{PIFA}(l)$

3. 在matcher器上做了一定的创新工作

参考资料

XLNET

XLNet:运行机制及和Bert的异同比较

XLNET理解

神经网络中的负采样

negative sampling方法在什么情况下有效，背后的原因是什么？ - 赵印的回答

Choosing a loss function

关于Teacher Forcing 和Exposure Bias的碎碎念

PECOS: PREDICTION FOR ENORMOUS AND CORRELATED OUTPUT SPACES

choosing a loss function

关于Teacher Forcing 和Exposure Bias的碎碎念

PECOS: PREDICTION FOR ENORMOUS AND CORRELATED OUTPUT SPACES

The Emerging Trends of Multi-Label Learning