论文笔记｜Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding

导读

这是一篇由伊朗Islamic Azad University和土耳其Ayvansaray University的作者共同发表的关键词抽取论文。本文聚焦的是抽取式的关键词预测任务，使用文本的语义表示和图表示进行拼接，从而完成关键词预测的任务。本文在多个公开数据集上做了模型测试，验证了所提出模型的有效性。论文链接

一、研究背景

关键词抽取任务是自然语言处理中的关键人物，旨在从一段文本中抽取出若干能够概括文本大意的关键词，关键词抽取任务可以被用于索引、可视化、摘要、主题发现等NLP的下游任务中。

目前，已经有一批关于关键词抽取的研究任务，其大体方法主要是根据提取一个关键词的特征，并将词语进行分类，判断其是不是关键词。当前的特征提取主要可以分为两类：（1）文本特征：提取文本的语义和句法特征；（2）图特征：根据关键词的网络生成关键词在图上的嵌入特征；而本文主要是将二者结合。

二、模型和方法

本文提出的模型架构名为Phraseformer，从文本信息中提取上下文的语义表示，并且从词语共现网络中提取节点的图嵌入表示，模型大体可以分为4个部分：

1. 文本学习：使用BERT来提取词语的文本表示；
2. 结构学习：构建一个词语共现网络，使用一些图表示学习方法来提取图嵌入向量；
3. 最终词语表示：将文本信息和结构信息进行拼接，得到文本的最终表示；
4. 序列标注和分类： 将关键词抽取任务建模为系列标注任务，使用BIO标记对词语进行分类。

2.1 文本学习

Phraseformer的第一步是用transformer模型来生成每个词语的向量表示，本文使用的是BERT模型来生成每个词语的语义向量。

2.2 结构学习

模型的第二部是在关键词共现网络中应用三个图表示学习算法来获取词语在网络中嵌入，本文使用的三个图表示学习算法是ExEm、NodeVec和DeepWalk。本文在构建关键词共现网络是在整个数据集上进行的，在构建之前去掉了停用词和标点符号，如果两个关键词同时出现在一个上下文窗口中，则认为二者有共现关系。作者将这三种方法的嵌入输入导演i个skip-gram神经网络中，以获取最中的节点表示。

2.3 最终词语表示

在获取了词语的语义向量嵌入和在共现网络中的嵌入后，接下来的工作是将二者的信息进行合并，本文将二者的向量进行合并作为最后的embedding。

3.4 序列标注和分类

本文将关键词抽取任务建模成了token级别的BIO分类任务，这个在之前的博客中有详细解释，在这就不多介绍了，这是深度学习方法完成关键词抽取任务的常用手段。

本文使用了三种模型来完成序列标注任务，分别是隐马尔可夫模型、条件随机场和深度学习模型。在深度学习模型部分，作者简单地使用了全连接网络，最终使用一个softmax激活函数完成到类别的映射。

三、实验

 

 从作者给的表格上，看出了模型的一些改进，在与以往的模型的对比评价上，本文提出的模型在一定程度上优于以往模型。

四、总结与思考

本文结合文本特征和在共现网络上的拓扑特征构建了关键词抽取模型，在多个数据集上取得了良好的效果，我有如下几个疑问：

1. 本文的创新点很小，只是将前人的研究进行了组合，给自己起名Phraseformer也是没有什么道理，更像是强行取的名字；
2. 本文在构建关键词共现网络的细节上陈述不够，测试集的数据有没有被用到网络构建上，作者也没有陈述清楚；
3. 本文实验的评价指标存疑，作者并没有说明F1计算的时候模型是输出了几个词，应该像其他研究一样比较F1@5、F1@10之类的，否则说自己模型性能高于其他模型是有失偏颇的。