【论文解读|DASSFA】PERM: Pre-training Question Embeddings via Relation Map for Improving Knowledge Tracing

基于关系图预训练问题嵌入以改进知识追踪模型

三篇基于Map的KT模型：

【注】本文依然没有考虑知识点之间的先序关系

摘要

针对教育问题的学习信息嵌入(表示)是在线学习系统的核心。目前的解决方案主要是通过问题-概念二部图学习问题嵌入。然而，学生-问题-概念的全局关系没有得到充分利用。此外，学生-问题和学生-概念互动中更细粒度的语义信息也应该进一步揭示出来。为此，本文提出了一种基于关系图的知识追踪预训练问题嵌入方法，即PERM。在两个真实数据集上进行的大量实验表明，PERM具有较高的表达能力，使知识追踪方法能够有效预测学生的学习表现。

1 引言

知识追踪(Knowledge tracing, KT)是CAE系统中的一项重要任务，旨在根据学生的学习历史对其知识熟练程度进行建模。具体来说，KT的目标是根据一个学生之前的所有回答日志来预测他/她是否能正确地回答下一个问题。

为了解决KT问题，人们做出了很多努力，基本上可以分为三大类:基于记忆的方法、基于注意的方法和基于图的方法。首先，在基于内存的方法中，DKT [8] a和DKVMN[11]是两种典型的方法，它们试图从单个学生响应日志中学习顺序模式。其次，提出了一些基于注意的方法，包括SAKT [6]， RKT[7]和AKT[3]，并改善了这些基于记忆的方法的性能。第三，基于图的方法可以在某些图上挖掘问题和概念之间的复杂交互，如GKT[5]和GIKT[10]。

虽然现有的方法已经将问题嵌入用于KT，但这些问题嵌入的全面性还不够。更具体地说，这一过程存在两个问题。首先，对学生-问题-概念的全局关系的研究还不够充分。其次，还需要进一步从学生-问题互动和学生-概念互动中提取更细粒度的语义信息。因此，我们努力进一步最大限度地提取和挖掘学生-问题-概念互动中丰富的底层语义信息，以解决上述两个问题。然而，由于学生-问题-概念交互的复杂性，面临着挑战。一方面，将学生-问题-概念的交互看作一个图，由于不同类型的节点和边具有高度的异质性，很难进一步挖掘图上的语义信息。另一方面，交互图的结构非常复杂，层次结构也非常明确，这表明利用学生问题-概念交互图建模问题嵌入是非常具有挑战性的。

考虑到这些问题，本文提出了一种提高知识追踪能力的预训练方法，即关系图预训练问题嵌入法(PERM)，学习每个问题的一般嵌入。具体而言，从两个语义角度(共现和答案一致)，我们首先利用问题(和概念)之间的关系映射作为问题和概念的先验和初始嵌入。然后，从学生-问题-概念互动中提取问题-概念二部图，利用两级注意聚合机制与先验信息进行融合，实现问题和概念的更新嵌入。此外，为了获得最终的问题嵌入，根据更新的问题嵌入、更新的概念嵌入和问题的特征向量对问题的难度信息进行建模。最后，在两个真实数据集上进行的大量实验清楚地表明，PERM具有更高的表达能力，使KT方法能够有效地预测学生的表现。

综上所述，我们的主要贡献如下:

• (1)从共现和答案-一致两个角度，利用问题(和概念)之间的两个关系映射作为先验;
• (2)为综合建模问题嵌入困难，利用与先验的两级注意机制，将问题信息、问题相关概念和问题特征有机融合;
• (3)在真实数据集上进行了大量的实验，包括定量比较、定性分析和案例分析，验证了PERM的有效性和优越性。

3 方法

3.1 关系图挖掘

在共现视角上，我们关注问题-概念的互动，致力于为所有问题选择同构邻居。

4 实验

为了评价我们的方法，我们在KT中两个广泛使用的数据集上进行了实验。一个是ASSISTment09，另一个数据集是Junyi。具体来说，对于ASSISTment09数据集，我们删除了尝试少于15个类似于[1]的响应日志的学生，同时删除了相关概念少于2个的问题。此外，对于俊一数据集，为了降低计算成本，我们过滤了响应日志少于500的学生，并进一步将一些类似的概念(如添加1、添加2、添加3)融合到一个概念(如添加)中，以保证每个概念都有足够的相关问题进行嵌入。

4.2 实验设置

为了证明我们的方法对主流KT模型的改进，并验证我们提出的方法的有效性，我们将其与一些基线进行了比较。

具体而言，我们首先将其应用于基于记忆的模型(DKT, DKVMN)、基于注意的模型(skt, AKT)和基于图形的模型(GIKT)等几种KT模型，然后将其与最先进的不含文本信息的问题嵌入方法PEBG进行比较。

4.3 结果比较

表1报告了在ASSISTment09上学生成绩预测任务中所有方法的总体性能，最好的分数用粗体表示。

从结果中，我们总结了几个重要的观察结果。首先，在所有数据稀疏度下，几乎所有这些PERM+方法的性能都优于基线。其次，PERM+DKT和PERM+DKVMN的表现始终优于PEBG+DKT和PEBG+DKVMN。最后，几乎所有的PERM+方法都优于基线。

表1报告了在ASSISTment09上学生成绩预测任务中所有方法的总体性能，最好的分数用粗体表示。从结果中，我们总结了几个重要的观察结果。首先，在所有数据稀疏度下，几乎所有这些PERM+方法的性能都优于基线。其次，PERM+DKT和PERM+DKVMN的表现始终优于PEBG+DKT和PEBG+DKVMN。最后，几乎所有的PERM+方法都优于基线。

5 结论

本文提出了一种新的PERM方法，着重于挖掘语义关系映射，并在两个视角语义下进一步融合问题和概念的嵌入，以获得最终的问题嵌入，从而提高KT方法的性能。在两个真实数据集上进行的大量实验表明，PERM具有更高的表达能力，使KT方法能够有效地预测学生的表现。

---

总结

有一定借鉴意义
为啥没有模型图。。。