当GNN遇见NLP(十四)：Cross-lingual Text Classification with Heterogeneous Graph Neural Network，ACL2021

以往的预训练多语言模型没有明确考虑语言之间的语法差异，这可能会导致目标语言泛化性能下降；此外，通常存在足够的未标记目标语言文档，这些文档自然地包含关于语言和任务的丰富信息，然而，只有少数先前的研究利用了未标记的数据。
本文提出了一种简单而有效的方法（Cross-Lingual Heterogeneous GCN (CLHG)），利用图卷积网络(GCN)将不同语言内和跨语言的异构信息合并到跨语言文本分类中。具体来说，将文档和单词作为节点，并将具有不同关系的节点(包括词性角色、语义相似度和文档翻译)连接起来，从而构建异构图。

任务定义

本文由于是短文，因此并没有给出详细的任务定义。参照【https://blog.csdn.net/panzhong171/article/details/109029508】，跨语言的文本分类被定义为训练集（源语言）包含标签（本文都是英文），而目标语言作为测试机，不包含标签。

模型的总体架构如下：

Graph Construction

Doc-word Edges. 首先，在边缘添加了词性(词性)标签，因为不同的词性在分类任务中具有不同的重要性。形容词和副词在情感分类中起着决定性的作用，而名词在新闻分类中可能起着更重要的作用。这样文档和单词之间也存在了包含不同信息（词性）的边。
Doc-doc Edges. 为了在文档之间添加更多的直接连接，引入了两种类型的文档级边。首先，通过查找余弦相似度最大的K个文档，将每个文档与相似文档进行链接。文档的嵌入是使用multilingual pretrained language modelsm（PLM）计算的。其次，将机器翻译产生的节点与它们的原始文本连接起来。
Features. 使用mPLM对所有节点进行编码，并获取第一个标记的隐藏状态。编码后的节点特征在训练时是固定的。

Heterogeneous Graph Convolution

接下来，在构建的异构图的基础上，使用HGCN进行文档节点分类：

${\hat{A}}_{\tau }$是只包含$\tau$类型的边的邻接矩阵。本文使用两层HGAT。

实验结果

本文在Amazon Review dataset，XGLUE News Classification，以及CoSDA-ML三个数据集上进行了实验。不同的数据集的是实验结果如表1，2，3所示：



本文提出的方法显著优于最先进的基线，并在XLM-R（Unsupervised
cross-lingual representation learning at scale）模型上实现了一致的改进。在多语言SLU数据集上实现了最大的性能增益。与其他两个数据集不同，该数据集由短文本组成，因此创建的图更清晰，更适合GCN建模。
消融实验也证实了不同类型边的有效性：