【论文解读|2018】Prerequisite-Driven Deep Knowledge Tracing

先决条件驱动的知识追踪

摘要

知识追踪是计算机支持教育环境(如智能辅导系统)中对学生知识状态进行建模的关键技术。虽然已经开发了贝叶斯知识追踪和深度知识追踪模型，但学生运动数据的稀疏性仍然限制了知识追踪的性能和应用。为了解决这一问题，我们提倡并提出将知识结构信息，特别是教学概念之间的前提关系，纳入知识追踪模型。具体而言，通过考虑学生如何掌握教学概念及其先决条件，我们将先决条件概念对建模为有序对。通过适当的数学公式，可以将这一性质作为知识追踪模型设计的约束条件。结果表明，该模型对学生的概念掌握有较好的预测效果。为了对该模型进行评价，我们在5个不同的真实世界数据集上进行了测试，实验结果表明，通过与三种知识追踪模型的比较，所提出的模型取得了显著的性能提高。

1 引言

知识追踪的目的是通过定量诊断学生对每个概念[9]的掌握程度，对学生个体的知识状态进行建模。传统上，知识追溯是实现个性化学习和教学的关键组成部分和技术之一，学生可以选择他们需要更多的练习，教师可以决定哪些概念更多地教授给学生[2]，[3]，[30]。快速发展的计算机辅助教育环境和在线教育平台为知识追溯提供了丰富的学生练习数据。然而，这也带来了一个主要的挑战，那就是学生行为的稀疏性。具体而言，学生使用系统的时间基础不规律，用于练习的时间较少，对自己的概念掌握情况进行综合评估。因此，对于每个学生来说，每门学科很可能只有一小部分概念被实践(通过解决测试问题)或学习(通过浏览教程视频或与老师互动)。大量概念的掌握水平未知，使得知识追踪存在准确性问题，限制了知识追溯的进一步应用(如学生成绩预测[15]、问题难度预测[14]、课程优化[22])。

我们解决稀疏性问题的思路在于充分挖掘知识结构中概念之间的相互依赖关系，特别是教学概念之间的先决条件。概念通常不是单独存在的:一些概念作为其他概念的先决条件，因此，如果我们知道一个学生掌握了一个目标概念，那么我们就可以确定她也掌握了这个目标概念的先决条件。知识追踪的建模先决条件还有待深入研究。大多数现有的研究先决条件的工作主要是对先决条件进行挖掘，而不是对它们进行建模，以辅助知识跟踪[16]、[17]、[20]、[29]。其他一些工作尝试使用先决条件进行概念图提取[27]，但仍然没有考虑如何使用先决条件进行知识跟踪。对学生建模[5]、[7]使用先决条件的尝试是有限的，但他们没有专门将深度学习用于知识跟踪目的。

在本文中，我们提出了一种新的方法来建模知识追踪的先决条件。简而言之，我们的直觉是，先决条件实际上代表了概念学习的依赖，这自然是对学生概念掌握预测的约束。让我们考虑一个例子。假设有两个概念k1和k2, k1是k2的前提条件。一般来说，这意味着如果一个学生掌握了k2，那么她很可能也掌握了k1;此外，如果学生没有掌握k1，那么她不可能掌握k2[4]。利用这一特性，我们提出了一个以先决条件为约束条件的知识追踪模型，它实际上在问题之间建立了联系。因此，练习数据稀疏性问题可以得到缓解，我们现在可以在估计每个学生对概念的掌握程度方面获得更好的表现。

然而，尽管将先决条件建模为知识跟踪模型的约束条件，对于数据稀疏性问题很有前景，但如何将先决条件建模为约束条件仍然是一个主要的挑战。有许多不同的方法来建模约束，但是如何将先决条件表达和表述成适当的数学形式并不简单。例如，可以将约束建模为逻辑[1]、[23]或正则化中的布尔函数[6]、[11]，或目标函数中最大化的条件概率[32]。我们将在后面详细的数学形式中看到，每一种约束建模的方法对于在深入的知识追踪设置中制定教学概念之间的先决条件关系都不是微不足道的。

为了应对这一挑战，通过分析先决条件的特征，我们提出将每个先决条件建模为学生对两个概念的掌握水平之间的排序对。也就是说，假设概念k1是概念k2的前提;然后，我们强制学生掌握k1的概率总是大于她在以后任何时候掌握k2的概率。正如我们将在后面的推导细节中看到的，这样的排序对有一个很好的数学公式，它很容易解释，在计算上也很容易处理。最后，我们提出了一个包含前提约束的顺序对正则化深度知识跟踪框架，该框架对学生的知识状态估计有较好的效果。

---

主要贡献：

• 我们研究了一个重要的问题，即如何将辅助深度知识追踪的先决条件纳入其中，这本质上是将学科概念及其结构信息引入知识追踪领域;
• 我们探索了一种通过新的知识追踪模型将先决条件建模为约束的新方法;
• 我们在真实数据集上评估了我们的模型，结果表明我们的模型改进了最先进的基线。

本文的其余部分组织如下:第二部分回顾了现有的工作以及我们的模型与其他工作的不同之处。第三节对问题定义进行了清晰的描述，第四节说明了如何对练习序列数据进行建模。拟议模式的细节载于第五节。第六节给出了在五个真实世界数据集上的实验结果，并在第七节对全文进行了总结。

2 相关工作

研究人员探索了进行知识追踪的不同方法。早期的工作集中在贝叶斯知识追踪模型，它将每个学生的知识状态定义为一个二元变量，并利用像隐马尔可夫模型这样的概率模型来估计学生的概念掌握[9]。随后，研究人员考虑了滑移和猜测[2]等认知因素，对模型进行了改进。对个别学生的先验知识[30]和问题[21]的难度水平也进行了探索，以改进贝叶斯知识追踪模型。为了处理主观问题的部分正确反应，提出了模糊认知诊断框架[28]。近年来，随着深度学习的发展，深度知识追踪模型被提出来建模学生的练习序列[22]，基于动态键值记忆网络的模型也被提出来更好地表示问题语义[31]。此外，结合推荐系统的发展，提出了基于矩阵分解的学生运动数据建模方法[26]。与这些知识追踪模型相比，我们在使用深度学习(特别是前提条件驱动的循环神经网络)进行知识追踪的同时，也在深度知识追踪的背景下探索了前提条件。

利用先决信息来解决知识追踪问题在以往的工作中仍有局限性。通过将知识跟踪问题建模为贝叶斯网络，[5]尝试将先决条件作为贝叶斯网络中的一个新层引入。此外，最近的一项工作试图扩展先决条件贝叶斯网络建模的思想，共同发现先决条件图，并估计学生的概念掌握[7]。与这两种方法相比，我们考虑了深度学习背景下的知识追踪，并系统地探讨了前提条件。

另一个与此密切相关的研究是约束学习，这是一种将领域知识整合到预测中的流行方法。例如，马尔科夫逻辑网络(MLN)[23]以一阶逻辑的形式对约束进行建模。相比之下，我们以排序对的形式对学生概念掌握进行建模，比用逻辑来制定先决条件更加灵活。也有非逻辑形式的建模约束，如约束驱动学习[6]、广义期望[18]、后验正则化[11]和鲁棒RegBayes[19]，但所有这些方法都没有考虑如何在深度学习模型中使用约束。此外，最近的一些尝试尝试在知识图嵌入[12]、深度神经网络[13]和文本嵌入中使用逻辑规则进行关系提取[24]。然而，它们被设计用于不同的应用程序，而不是深度知识跟踪，并且它们必须以逻辑形式建模约束。

5 结论

为了更好地估计学生的知识状态，本文开发了一种新的知识追踪模型PDKT-C。直观的方法是利用概念之间的前提关系来规范知识追踪模型。更具体地说，通过考虑前提关系如何影响学生对概念的掌握，我们定义了概念掌握概率的排序对。该排序对通过适当的数学公式，在知识追踪模型中形成数学约束，从而更好地预测学生的知识状态。最后，在五个真实世界的数据集上进行了大量的实验，结果表明，与其他基线模型相比，所提出的PDKT-C模型产生了显著的性能改进。

在未来的工作中，我们希望探索其他更好地表达这些概念相互依赖的方法，例如图嵌入。此外，我们还希望联合优化前提关系提取过程和知识追踪过程，更好地识别前提关系，估计学生的知识状态。