【论文解读|SIGIR2021】Tracing Knowledge State with Individual Cognition and Acquisition Estimation

基于个体认知和习得估计的知识状态追踪

摘要

知识追踪是在线教育中的一项重要任务，它通过预测学生回答问题的表现来动态估计学生的学习状态。一种典型的知识追踪解决方案是基于循环神经网络(Recurrent Neural Networks, RNNs)，它用RNNs的隐藏状态来表示学生的知识状态。这类方法通常假设学生对同一问题具有相同的认知水平和知识获取敏感性。因此，它们(i)通过参考学生的知识状态和问题表示来预测学生的反应，(ii)根据问题表示和学生的回答来更新知识状态。上述两个过程均未考虑显式认知水平和知识获取敏感性。然而，在现实场景中，学生对同一个问题的理解是不一样的，在完成同一个问题后，他们获得的知识也是不一样的。在本文中，我们提出了一种新的个体估计知识追踪模型(IEKT)，在响应预测之前估计学生对问题的认知，在更新知识状态之前评估学生对问题的知识获取敏感性。在实验中，我们将IEKT与4个基准数据集上的11个知识跟踪基线进行了比较，结果表明IEKT达到了最先进的性能。

1 引言

许多在线学习网站，如远学习网，为学生提供了一个平台来加强他们所学的知识。学生可以通过在这样的平台上回答问题来提高技能。然而，由于问题是事先准备好的，学生回答的问题可能是他们已经掌握了相关概念的问题，这对提高他们对学科的整体掌握没有什么帮助。相反，学生应该把注意力集中在他们难以正确回答的问题上，这意味着学生没有掌握问题背后的概念。因此，动态估计学生的学习状态，找出学生难以回答的问题，并将其推入学生答题列表，是在线学习网站的关键问题。这种考虑激发了知识追溯的研究。知识追踪可以自动估计学生的学习状态，通过学生的答题历史来预测他们是否能正确回答一个新问题。由于这一属性，知识追踪任务也有利于在线教育中的相关任务，如安排个人学习路径[12,20]和推荐学习材料[10,35]。

在文献中，由于深度学习的强大功能，许多人致力于设计用于知识追踪的深度模型[1,5,22,26,27,29,32,36,39]。其中代表性之一是基于自回归架构，如循环神经网络(RNNs)[6,16]，其中学生的知识状态(概念的掌握水平)由循环单元的隐藏状态表示。这些框架通常可以表述为两个阶段的过程，即读和写阶段，如图2(a)所示。更具体地说，在阅读阶段，循环单元的隐藏状态和问题表示被加载，然后馈送到多层感知器，以预测学生正确回答问题的概率。另一方面，写作阶段对学生知识状态的动态变化进行建模，在收到一个问题的反馈后更新相应的循环单元。

尽管前面的方法取得了成功，但仍然存在一些重要的局限性。首先，这些方法假定学生对某一特定问题的认知水平是相同的，因此直接利用问题表征和知识状态进行预测，而不显式地表示学生对特定问题的认知水平。然而，学生的知识背景是分布的[2,11,28]。因此，他们对同一问题的认知水平不同，如图1所示。其次，之前的方法假设不同的学生回答相同的问题，给出相同的回答后，知识增量是相同的。然而，根据多元智能[14]理论，学生的智力分布是多样化的，因此，即使学生回答相同的问题，给出相同的回答，他们对知识获取的敏感性也会有所不同，如图1所示。因此，缺乏对认知水平和获取敏感性的显式建模限制了以往工作的表现。

基于这些考虑，本文提出了一种新的知识追踪模型——个体估计知识追踪(Individual Estimation knowledge tracing, IEKT)。具体而言，IEKT在读阶段引入了认知估计(CE)模块，在写阶段引入了知识获取灵敏度估计(KASE)模块，以应对上述挑战。CE模块根据学生的知识状态和问题表征来评估学生对问题的认知水平。KASE模块根据学生的知识状态、回答和问题表征来估计学生的知识获取敏感性。为了搜索IEKT的最优参数，我们进一步应用强化学习方法来训练IEKT。我们通过将IEKT与之前的11种方法进行比较，在四个基准数据集上评估IEKT。实验结果表明，IEKT具有较好的性能。

本文的主要贡献总结如下: