论文十 Do PLMs Know and Understand Ontological Knowledge?

创新点

本文通过设置两个大语言的下游任务Memorizing Task（记忆任务）和Reasoning Task（推理任务）来判模型是否对存储了知识的本体含义，而不是表面的记忆。

实验结果

1. 大型语言模型（PLMs）可以记忆某些本体知识，但并不完美。
2. 大型模型并不一定在记忆本体知识方面表现得更好。
3. 大型语言模型（PLMs）对本体知识背后的语义理解有限。
4. 对于语言模型来说，属性的同义转换是一个挑战。

Memorizing Task（记忆任务）

本论文的实验实在Bert和Roberta上进行，可以很好的实现屏蔽词预测任务

Reasoning Task（推理任务）

逻辑推理任务通过对输入两条提示词，再要求模型进行预测，从而检测模型的逻辑推理能力

论文地址