《Commonsense Knowledge Salience Evaluation with a Benchmark Dataset in E-commerce》论文阅读

文章地址：https://arxiv.org/abs/2205.10843

文章内容

  在电子商务等领域，常识知识的显著性（salience of commonsense knowledge，CSK）有利于产品搜索和推荐，比如当用户输入运动时，其更想要的是运动鞋而不是普通的“鞋”。然而，现有的有关CSK任务仅根据置信度得分对语句进行排序，而并没有占在人类的角度去分析（充分性以及必要性）。因此这篇论文就提出了一个“新”的任务，即三元组的显著性推理，并且提出了一种应对该任务的“简单”而有效的方法PMI-tuning。

数据集

  作者首先很详细地描述了其数据集的构造过程，不过简单理解起来就是作者他（她）们团队自己先选出了100条一定是对的三元组，然后作为想要应聘这个数据集标注任务人员的考试题，这些标注人员要给出三元组的充分性和必要性评分机器理由。作者这里构建的数据集中主客体之间的关系一共有三种分别是需求（require），互补（completementary）和“有能力”（capable， of）。

问题定义

  给定一个常识三元组（s, p, o），其中p代表主题（subject）s和客体（object）o之间的关系，任务目的就是去判断这个p是不是存在的，也就是一个二分类问题，一些数据的示例如下所示：

PMI-tuning

  这里作者是借鉴了原始BERT训练中的掩码策略也就是MLM任务，对于一个句子的主体、客体和关系进行掩码处理，输入到BERT模型中预测[MASK]所代表的含义，从而起到微调的作用

  作者这里的评分就是去计算这个关系三元组的充分性（Suf）和必要性（Nec），计算公式如下所示：

  最后的显著性得分是由二者的调和平均数得到的，其中的λ为一个有确定初始值的可学习的参数。

  很奇怪的是，作者说用了软提示，但没说软提示是啥，说用了BiLSTM，但在图中有没有体现，也不太理解。

小总结

  自我感觉目前对知识图谱的处理就是要充分利用预训练语言模型已经在大规模标度的数据集上训练从而具备一定的隐性知识的特点和优势，提示学习（微调）如此，将三元组文本化亦是如此，而由于训练集和测试集会存在gap的问题，利用图嵌入将会受到相应的局限，因此大多研究现在都着眼于文本嵌入。