研究通过MemorizingTask和ReasoningTask揭示了大型语言模型（如BERT和RoBERTa）在记忆本体知识上的局限性，它们可能仅能部分掌握语义，对属性的同义转换构成挑战。
创新点
本文通过设置两个大语言的下游任务Memorizing Task（记忆任务）和Reasoning Task（推理任务）来判模型是否对存储了知识的本体含义，而不是表面的记忆。
实验结果
- 大型语言模型（PLMs）可以记忆某些本体知识，但并不完美。
- 大型模型并不一定在记忆本体知识方面表现得更好。
- 大型语言模型（PLMs）对本体知识背后的语义理解有限。
- 对于语言模型来说，属性的同义转换是一个挑战。
Memorizing Task（记忆任务）
本论文的实验实在Bert和Roberta上进行，可以很好的实现屏蔽词预测任务
Reasoning Task（推理任务）
逻辑推理任务通过对输入两条提示词，再要求模型进行预测，从而检测模型的逻辑推理能力
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
