【论文解读 | AAAI2020】NeuralCD：Neural Cognitive Diagnosis for Intelligent Education Systems

摘要

认知诊断是智能教育的一个基本问题，其目的是发现学生对特定知识概念的熟练程度。现有的方法通常通过手工设计的函数(如logistic函数)来挖掘学生练习过程的线性交互，这不足以捕捉学生与练习之间的复杂关系。在本文中，我们提出了一个通用的神经认知诊断(NeuralCD)框架，该框架包含了神经网络学习复杂的练习交互，以获得准确和可解释的诊断结果。具体来说，我们将学生和练习映射为因子向量，并利用多神经层建模它们的交互，其中应用单调性假设来确保两个因素的可解释性。此外，我们通过对每个练习所需概念的专门化，提出了两种NeuralCD的实现，即使用传统q矩阵的NeuralCDM和探索富文本内容的改进的NeuralCDM+。在真实数据集上的大量实验结果表明了NeuralCD框架在准确性和可解释性方面的有效性。

1 引言

认知诊断在许多现实世界场景中是必要的和基本的任务，如游戏(Chen and Joachims 2016)、医疗诊断(Guo et al. 2017)和教育。具体来说，在智能教育系统(Anderson et al. 2014;Burns et al. 2014)，认知诊断旨在发现学生在学习过程中的状态，如对特定知识概念的熟练程度(Liu et al. 2018)。图1显示了一个认知诊断的玩具示例。一般情况下，学生首先选择一组练习(如e1，···，e4)，然后给出自己的答案(如对错)。然后，我们的目标是推断他们对相应概念(如三角函数)的实际知识状态。在实践中，这些诊断报告是必要的，因为它们是进一步服务的基础，如练习建议和针对性训练(Kuh et al. 2011)。
在认知诊断方面投入了大量的精力，如确定性输入、噪声与门模型(DINA) (De La Torre 2009)、项目反应理论(IRT) (Embretson and Reise 2013)、多维IRT (MIRT) (Reckase 2009)和矩阵分解(MF) (Koren, Bell, and V olinsky 2009)。尽管取得了一些效果，这些作品依赖于手工制作的交互功能，只是将学生和锻炼的特征线性相乘，如logistic函数(Embretson and Reise 2013)或内积(Koren, Bell, and V olinsky 2009)，这可能不足以捕捉学生和练习之间的复杂关系(DiBello, Roussos, and Stout 2006)。此外，具体的交互功能的设计也是劳动密集型的，通常需要专业的专业知识。因此，迫切需要找到一种自动学习的方法来学习复杂的交互，而不是手工设计。
在本文中，我们以一种原则性的方式来解决这个问题，提出了一个神经认知诊断框架(NeuralCD)，将神经网络纳入到复杂非线性相互作用的模型中。尽管神经网络逼近连续函数的能力已经在许多领域得到了证明，如自然语言处理(Zhang et al. 2018)和推荐系统(Song et al. 2019)，但由于以下领域的挑战，神经网络适应认知诊断仍然非常重要。首先，神经网络的黑箱特性使得它们很难得到可解释的诊断结果。也就是说，很难明确地意识到一个学生对某一知识概念(如方程)掌握了多少。其次，传统模型是人工设计的，具有非神经功能，这使得它们很难利用练习文本内容。然而，利用神经网络，探索练习文本内容中所包含的丰富信息对认知诊断是值得的。
为了解决这些挑战，我们提出了一个NeuralCD框架来近似学生和练习之间的交互，但保留了可解释性。我们首先将学生和练习纳入因子向量，并利用多层次建模学生回答练习的复杂互动。为了保证这两个因素的可解释性，我们从教育性质(Reckase 2009)对多层应用单调性假设。在此基础上，我们提出了两种实现方法，即NeuralCDM和NeuralCDM+。在NeuralCDM中，我们简单地从传统的q -矩阵中提取练习因子向量(示例如图6所示)，实现了正全连接层的单调性，这说明了框架的可行性。而在NeuralCDM+中，我们演示了如何使用神经网络探索来自练习文本的信息，以扩展框架。特别是，我们的NeuralCD是一个通用框架，因为它可以覆盖许多传统模型，如MF, IRT和MIRT。最后，我们在真实数据集上进行了大量的实验，结果表明了NeuralCD框架的有效性，并保证了准确性和可解释性。

2 相关工作

本节从以下三个方面对相关工作进行简要回顾。
认知诊断 现有的关于学生认知诊断的研究主要来自教育心理学领域。DINA 和IRT 是两个最典型的工作，它们将学生回答练习的结果建模为学生的特质特征(θ)和练习(β)之间的交互作用。

矩阵分解 近年来，一些研究从数据挖掘的角度论证了MF在认知诊断中的可行性。学生和练习对应于矩阵分解(MF)中的用户和项目。如Toscher et al.(2010)改进SVD (Singular V value Decomposition)方法，将分数矩阵分解，得到学生和练习的潜在特征向量。Thai-Nghe等人(2010)在教育背景下应用了矩阵分解等推荐系统技术，并与传统的回归方法进行了比较。此外，Thai-Nghe等人(2015)提出了一种用于智能辅导系统中学生建模的多关系因子分解方法。尽管MF中的潜在特质向量能够有效预测学生的练习成绩，但它们无法用于认知诊断，即特质向量中的元素与特定知识概念之间没有明确的对应关系。

人工神经网络 使用人工神经网络的技术在许多领域已经达到了最先进的水平，例如语音识别(Chan et al. 2016)，文本分类(Zhang, Zhao, and LeCun 2015)和图像标题(Wang, Chen, and Hu 2019)。还有一些教育应用，如问题难度预测(Huang et al. 2017)、代码教育(Wu et al. 2019)、公式图像转录(Yin et al. 2018)和学生成绩预测(Huang et al. 2019)。然而，由于神经网络固有的特性，其参数解释能力较差，因此利用神经网络进行认知诊断并非易事。据我们所知，深度知识追踪(deep knowledge tracing, DKT) (Piech et al. 2015)是第一次尝试使用递归神经网络建模学生学习过程。但DKT的目的是预测学生的成绩，并没有区分习题和习题所包含的知识概念，不适合进行认知诊断。神经网络在学生认知诊断中的解释性较差。为此，本文提出了一个神经认知诊断框架(NeuralCD)，该框架借鉴了教育心理学的概念，并将其与数据学习的交互功能相结合。NeuralCD既能达到较高的精度，又能利用神经网络进行解释。

3 神经认知诊断

我们首先正式引入认知诊断任务。然后我们详细描述了NeuralCD框架。然后，我们设计了一个具有传统q -矩阵的特定诊断网络NeuralCDM，以展示框架的可行性，并结合练习文本内容的改进NeuralCDM+，以获得更好的性能。最后，我们展示了NeuralCD框架与一些传统模型的密切关系，证明了该框架的通用性。

3.2 神经认知诊断框架

一般来说，认知诊断系统需要考虑三个因素:学生因素、练习因素以及它们之间的交互作用(DiBello, Roussos, and Stout 2006)。在本文中，我们提出了一个通用的NeuralCD框架，通过使用多层神经网络建模来解决这些问题，如图2所示。具体来说，对于每个响应日志，我们使用对应的学生和运动的一个热点向量，以获得学生和运动的诊断因素。然后交互层学习各因素之间的交互作用，输出正确回答问题的概率。训练结束后，我们得到学生的能力向量作为诊断结果。详细介绍如下。
学生因素：

5 结论

本文提出了一个用于学生认知诊断的神经认知诊断框架——NeuralCD框架。具体来说，我们首先讨论了框架中的基本学生和练习因素，并在框架上设置了单调假设，以确保其可解释性。然后，我们在该框架下实现了一个具体的模型NeuralCDM，以证明其可行性，并结合练习文本对NeuralCDM进行了进一步的扩展，以细化Q-matrix。在真实数据集上的扩展实验结果表明，我们的模型具有准确性和可解释性。我们还表明，neuralcd可以看作是一些传统认知诊断模型(如MIRT)的概括。本文所设计的诊断网络结构是直观的。然而，由于神经网络具有高度的灵活性和潜力，我们希望这项工作能够引导进一步的研究。