【论文翻译|2019TKDE】EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction

【注】 本文EKT加入练习的文本内容

摘要

在计算机支持的智能教育中，为学生提供主动的服务(如个性化的练习推荐)，其基本任务之一是预测学生在未来练习中的表现(如分数)，其中有必要跟踪每个学生在锻炼活动中知识获取的变化。遗憾的是，据我们所知，现有的方法只能挖掘学生的练习记录，而材料中存在着提取丰富信息(如知识概念、练习内容)的练习，以实现更精确的预测学生的表现和更可解释的分析的知识获取仍然有待探索。为此，本文提出了一个学生成绩预测的整体研究。为了直接实现成绩预测的主要目标，我们首先通过探索学生的练习记录和相应练习对应的文本内容提出了一个通用的练习增强递归神经网络(EERNN)框架。在EERNN中，我们简单地将每个学生的状态总结成一个整合的向量，然后用递归神经网络跟踪它，在这里我们设计了一个双向LSTM，通过其文本内容来学习每个练习的编码。为了进行最终的预测，我们在EERNN的基础上设计了两种不同预测策略的实现，即带有马尔可夫性质的EERNNM和带有注意机制的EERNNA。然后，为了明确地跟踪学生在多个知识概念上的知识获取，通过整合知识概念信息我们将EERNN扩展到一个可解释的练习感知的知识追踪(EKT)框架，其中将学生的综合状态向量扩展为知识状态矩阵。在EKT中，我们进一步开发了一个记忆网络，以量化每个练习在练习过程中对学生掌握多种不同知识概念的影响程度。最后，我们进行了广泛的实验，并在大规模的真实数据上评估了EERNN和EKT框架。在一般和冷启动情景下的结果都清楚地证明了两种框架在学生成绩预测中的有效性以及EKT的高可解释性。

1 引言

大规模在线开放课程(Massive Online Open Course)、Knewton.com和KhanAcedemy .org等教育系统可以通过开放获取数以百万计的在线课程或练习，借助计算机辅助技术帮助学生进行个性化学习。由于这些系统的普及性和便利性，引起了教育工作者和公众的极大关注。
具体来说，学生在这些系统中可以根据自己的需要选择练习，并在练习中获得必要的知识。图1展示了一个典型学生的运动过程的玩具示例。一般来说，当一个练习(例如e1)发布时，学生阅读它的内容(“If function…”)，并应用关于“function”概念的相应知识来回答它。从图中可以看出，学生1做了四个习题，但她只做错了习题2，这可能说明她对“函数”和“不等式”的知识掌握得很好，除了“概率”的概念。我们可以看到，在这样的教育系统中，一个基本的任务是预测学生的表现(例如，分数)，也就是说，预测一个学生在未来是否能正确地回答一个练习(例如，e5)。同时，也要求我们跟踪学生在练习过程[7]，[55]中知识获取的变化。在实践中，精确预测的成功对学生用户和系统创建者都有好处:(1)学生可以及时意识到自己薄弱的知识概念，从而有针对性地准备练习[17]，[50];(2)系统创建者可以为不同的学生提供更好的主动服务，如学习补救建议、个性化练习推荐[25]等。
在文献中，有许多从教育心理学和数据挖掘领域预测学生成绩的努力，如认知诊断[11]、知识追踪[7]、矩阵分解[45]、话题建模[57]、稀疏因子分析[27]和深度学习[36]。具体来说，现有的工作主要侧重于开发学生的练习过程，每个练习通常通过建模中相应的知识概念来区分，换句话说，现有的作品模型学生的知识状态预测仅基于他们对每个知识的表现记录，其中两个标注了相同知识概念的练习(如e1and3)被简单地识别为相同的(实际上，练习题1和3根据其内容有很大的不同，ande3比e1更难）。因此，这些方法不能区分两个学生的知识获取，一个解决了1，另一个解决了3，因为这些特定知识的表征没有充分利用练习材料(如文本内容)的丰富信息，导致严重的信息丢失[11]。为此，我们认为，结合学生的练习记录和练习材料，更准确地预测学生的表现是有益的。

不幸的是，在这方面存在许多技术和领域挑战。首先，习题的表达形式多样，这就需要有统一的方式从语义的角度自动理解和表征习题的特征。其次，学生未来的表现很大程度上依赖于他们长期的历史锻炼，尤其是他们重要的知识状态。如何追踪学生的历史重点信息是一个非常具有挑战性的问题。第三，学生成绩预测任务通常存在“冷启动”问题[28]，[48]。也就是说，我们要为新学生和新练习做预测。在这种情况下，有限的信息可能被利用，从而导致较差的预测结果。最后但并非最不重要的是，学生通常关心的不仅是他们需要学什么，而且还想知道他们为什么需要它，也就是说，有必要提醒他们是否擅长某个知识概念，他们已经学了多少。然而，无论是量化解决每个具体练习(如e1)对提高学生的知识获取(如“功能”)的影响，还是可解释地跟踪学生在练习过程中知识状态的变化，都是一个重要的问题。

为了直接实现通过解决前三个挑战来预测学生成绩的主要目标，在我们的初步工作[40]中，我们提出了一个exerciseenhancedrecurrentneuralnetwork (EERNN)框架，主要探索学生的练习记录和相应的练习内容。具体来说，对于练习过程建模，我们首先设计了一个双向LSTM，通过利用每个练习的内容来表示它的语义。学习的编码可以捕捉每个练习的个人特征，而无需任何专业知识。然后，我们提出了另一种LSTM体系结构，通过结合练习表示来跟踪连续练习过程中的学生状态。为了进行最终的预测，我们在EERNN框架的基础上设计了两种策略。第一个策略是一种简单而有效的策略，即带有马尔科夫性质的EERNNM，即学生的下一个表现只取决于当前状态。相比之下，第二种方法更加复杂，它是带有注意力机制的EERNNA，它根据历史上类似的练习来跟踪被关注的学生的状态。通过这种方式，EERNN可以根据学生的运动记录自然地预测出她未来的表现。

在EERNN模型中，我们在一个集成的隐向量中总结和跟踪每个学生对所有概念的知识状态。因此，它不能明确地解释她对某一知识概念(如“功能”)掌握了多少，这意味着EERNN的可解释性不够令人满意。因此，在本文中，我们扩展了EERNN，并提出了一个可解释的exerciseawareknolwedgetracing (EKT)框架来同时跟踪多个显式概念上的学生状态。具体来说，我们将每个学生的综合状态向量扩展为一个随时间更新的知识状态矩阵，其中每个向量表示她对某个概念的掌握程度。在某个学生的每个练习步骤，我们开发一个记忆网络，量化当她解决一个特定的练习时，对每个知识状态的不同影响。我们还根据EERNN中提出的策略，实现了两个基于EKT的预测模型，即带有马尔科夫性质的EKTM和带有注意机制的dekta。最后，我们进行了广泛的实验，并在一个大规模的真实数据集上评估了EERNN和EKT框架。在一般和冷启动场景下的实验结果清楚地证明了两种框架在学生成绩预测中的有效性，以及EKT框架优越的可解释性。

2 相关工作

相关工作可分为教育心理学(即认知诊断和知识追踪)和数据挖掘(即矩阵分解和深度学习方法)两大类。

2.1 认知诊断

在教育心理学领域，认知诊断是一种通过发现学生的练习状态来预测学生表现的技术。一般来说，传统的认知诊断模型可分为连续模型和离散模型两类。其中，项目反应理论(IRT)作为一个典型的连续模型，从一个类似于逻辑的函数[12]出发，用一个描述整合知识状态的潜在特征变量来表征每个学生。而离散模型，如deterministic input, NoisyAnd gate model(DINA)，则将每个学生表示为一个二进制向量，用给定的Qmatrix(习题-知识概念矩阵)先验[10]表示是否掌握了习题所需的知识概念。为了提高预测效果，结合学习信息[3]，[35]，[50]，提出了多种不同的cdm。例如，学习因素分析(LFA)[3]和性能因素分析(PFA)[35]将时间因素纳入建模。Liu等人[29]提出了FuzzyCDM，它考虑了主观和客观的运动类型，以平衡诊断结果的准确性和可解释性。
知识追踪 知识跟踪是对每个学生的知识状态进行单独跟踪的重要任务，这样我们就可以预测她在未来的锻炼活动中的表现，其基本思路类似于典型的顺序行为挖掘[30]，[39]。在这个任务中，贝叶斯知识追踪(Bayesian knowledge tracing, BKT)[7]是最流行的模型之一。这是一种知识特定模型，假设每个学生的知识状态为一组二元变量，其中每个变量代表她对某个特定概念的“掌握”或“未掌握”。BKT通常使用隐马尔可夫模型[37]分别更新每个学生的知识状态，然后更新她的练习成绩。在BKT的基础上，考虑了其他因素，提出了许多扩展，如:练习难度[33]、多元知识概念[52]、学生个体[54]。更进一步，为了提高预测性能，其他研究人员还建议将一些认知因素纳入传统的BKT模型[20]，[21]。
矩阵分解 最近，研究人员试图利用数据挖掘领域的矩阵分解来预测学生的表现[45]，[46]。通常，这类研究的目标是根据学生的练习成绩矩阵和一些已知分数，尽可能准确地预测学生的未知分数。例如，Thai等人[45]利用矩阵分解模型将每个学生投射到一个描述学生隐含知识状态的潜在向量中，并进一步提出了一个用于在线学习系统预测的多关系适应模型。为了捕捉学生运动过程的变化，引入了一些额外的因素。例如，Thai等人[44]提出了一种通过添加额外的时间因子的张量分解方法。Chen等人[5]注意到学习理论和艾宾浩斯遗忘曲线理论的影响，并将它们纳入统一的概率框架。Teng等人进一步研究了两个概念图的效果。
深度学习方法 学习是一个非常复杂的过程，学生对不同知识概念的掌握程度不是分别更新的，而是相互关联的。沿着这条线，受到了深度学习技术在许多应用中的卓越表现的启发，如语音识别[15]，图像学习[8]，[23]，自然语言处理[31]，网络嵌入[9]，[58]，以及教育应用，如问题难度预测[19]，一些研究人员试图使用深度模型来预测学生的表现[36]，[55]。在这些工作中，深度知识追踪(deep knowledge tracing, DKT)是第一次尝试，据我们所知，利用递归神经网络(如RNN和LSTM)建模学生的练习过程，以预测她的表现[36]。而且,通过桥接练习之间的关系和知识概念,Zhang et al。[55]提出了一个动态键-值记忆网络模型提高预测结果的可解释性,和陈等。[4]整合的知识结构信息处理知识的数据稀疏问题跟踪。实验结果表明，深度模型取得了较大的成功。

我们的工作与以往的研究有以下不同。 首先，现有的方法主要侧重于利用学生的历史练习记录进行成绩预测，忽视了练习材料(如知识概念、练习内容)的重要作用。据我们所知，这项工作是第一次全面探索学生的练习记录和练习材料。其次，以往的研究遵循的常识是，学生的下一次表现只取决于当前的状态，而我们的工作通过一种新颖的注意机制来深入捕捉学生在历史上的聚焦信息，以改进预测。第三，我们可以很好地处理“冷启动”问题，通过结合练习相关性而不进行任何再训练。最后，我们的工作可以获得良好的可解释性预测结果，即我们可以解释学生在显性知识概念上的知识状态的变化，这有利于许多现实世界的应用，如可解释的练习推荐。

3 问题概览

从图中可以看出，给定所有学生的练习记录和相应的练习材料，我们提出了一个初步的练习增强递归神经网络(EERNN)框架和一个改进的练习感知知识追踪(EKT)框架。然后，我们使用训练过的模型进行两个应用。具体来说，EERNN通过连续的练习记录直接实现了对学生未来练习成绩预测的目标，EKT进一步明确地跟踪了学生的知识获取。

5 EKT

EERNN可以有效地处理学生在未来练习中的表现预测问题。然而，在建模过程中，我们只是在一个集成隐藏向量(即htin Eq.(4))中总结和跟踪一个学生对所有概念的知识状态，这有时是不令人满意的，因为很难明确地解释她对某一知识概念(如“函数”)掌握了多少。事实上，在某个学生的练习过程中，当给出一个练习时，她通常会运用自己的相关知识去解决。相应的，她在练习中的表现，即她的回答是否正确，也可以反映出她对[7]，[55]知识的掌握程度。例如，我们可以得出这样的结论:图1中的学生已经很好地掌握了“函数”和“不等式”的概念，但还需要更多的精力去学习不太熟悉的“概率”。因此，如果我们能提醒她这个发现，让她自己准备关于“Probability”的目标训练，是很有价值的。基于以上理解，本节进一步探讨学生对多个显性概念的知识获取的跟踪问题。我们扩展了当前的EERNN，并提出了一个可解释的练习感知的知识追踪(EKT)框架，将每个练习中存在的知识概念的信息合并在一起。

7 结论

在本文中，我们重点研究了学生成绩预测。具体来说，我们首先提出了一个通用的练习增强递归神经网络(EERNN)框架，探索学生的练习记录和相应的练习内容。尽管EERNN可以有效地预测学生在未来练习中的表现，但它不能跟踪学生在多个显性概念上的知识状态。因此，我们将EERNN扩展为练习感知的知识追踪(EKT)框架，进一步整合每个练习中存在的知识概念信息。为了进行最终预测，我们设计了EKT和EERNN下的两种策略，即直接的EKTM (EERNNM)和复杂的EKTA (EERNNA)。相比之下，EKTA (EERNNA)可以跟踪学生的历史焦点信息进行预测，优于EKTM (EERNNM)。最后，我们在一个大规模的真实数据集上进行了大量的实验，结果证明了我们提出的模型的有效性和可解释性。