【论文解读|IJCAI2021】Towards a New Generation of Cognitive Diagnosis

本文是他们研究组近期的进展总结

摘要

认知诊断是一种评估，通过观察个体的行为，自动衡量个体的能力概况，如量化考生对特定知识概念/技能的掌握程度。认知诊断模型作为智能教育等领域的基础研究课题之一，在过去的几十年里发展了许多认知诊断模型。尽管这些解决方案通常是基于心理测量理论设计的，但它们仍然受到手工诊断功能能力的限制，特别是在处理异构数据时。在这篇文章中，我将分享我个人对认知诊断的理解，并主要从机器学习的角度回顾我们最近的CDMs发展。同时，我将展示认知诊断的广泛应用。

1 引言

众所周知，每个人的个人信息(如年龄、性别和位置)和潜在特征(如偏好和熟练程度)都是不同的。因此，在人工智能的应用中，比如推荐系统，我们需要自动发现这些差异，为用户提供更好的服务。沿着这条线，认知诊断是一种评估，通过观察用户的行为来衡量他们的熟练程度。
实际上，认知诊断起源于以下基本假设:(1)在完成任务时，观察到的用户交互行为(如正确或错误的反应)是由用户潜在的认知状态(如对所需技能的熟练程度)决定的，(2)每个用户的认知状态在短时间内是稳定的，因此可以诊断[Gao et al.， 2021]。让我们以图1为例，两个用户u1和u2刚刚参加了同一个考试，其中有五个任务/练习，完成每个任务需要不同的技能。虽然这两个用户的总分是一样的(60分)，但是在认知诊断的帮助下，我们可以从雷达图中发现他们对特定技能的熟练程度有很大的不同。由于认知诊断对于游戏、体育、招聘、电子商务和教育等领域具有重要意义，人们在这一研究问题上投入了大量的精力，如确定性输入、噪声和门模型(DINA) [De La Torre, 2009]、项目反应理论(IRT) [Lord，1952]和多维IRT (MIRT) [Reckase, 2009]。事实上，现有的认知诊断模型(CDMs)大多是基于心理测量理论设计的，诊断结果具有很好的解释作用。尽管之前的研究很重要，但诊断功能通常是手工制作的，只能利用用户的数字响应记录，导致在捕捉用户、任务和技能之间的复杂关系方面能力不足。

为了解决这些问题，在过去的几年里，我们对认知诊断进行了全面的研究，并开发了几种主要从机器学习角度的认知诊断模型。我们的贡献包括:

• 我们提出了一个新的神经认知诊断(NeuralCD)框架，该框架将神经网络引入到复杂的用户任务交互中，以获得准确和可解释的诊断结果。我们证明了NeuralCD下的特定模型NeuralCDM具有足够的一般性，可以覆盖许多传统模型，如IRT和MIRT。
• 为了更准确地诊断每个用户的认知状态，我们进一步考虑技能之间的相互依赖关系、用户的上下文感知特征、用户响应之间的偏序和数据隐私问题，提出了几种解决方案。
• 在推荐系统、自适应学习和计算机自适应测试(CA T)等不同应用中，结合认知诊断提高个性化服务的性能。

2 从心理测量学到机器学习

认知诊断输入用户的交互行为(如正确或错误的答案)，旨在发现用户基于这些行为的认知状态(如对所需技能的熟练程度)(来自教育领域的正式定义见[Wang et al.， 2020])。例如，图1的左边部分演示了输入用户行为，右边部分演示了诊断输出，其中用户u1被诊断为在技能k3上熟练度为0.8。由于认知状态是潜在特征，认知诊断模型通常在用户性能/响应预测过程中进行评估。

认知诊断主要是从早期的心理测量学发展而来，其中项目反应理论(IRT)是最典型和最广泛使用的解决方案之一[Lord, 1952]。

考虑在心理限制解决方案和多种类型的数据,如图像和文本描述的任务,现在可以在不同的应用程序,我们已经进行了全面研究利用机器学习的方法来设计一种新型的认知诊断模型(吴et al .,2015]。其中一个重要的成果是，我们提出了一个新的一般和可扩展的神经认知诊断(NeuralCD)框架，该框架结合了神经网络和心理测量假设，以获得准确和可解释的诊断结果[Wang et al.， 2020]。具体来说，NeuralCD使用多维参数来描述用户的认知状态和任务的特征(如难度)，并结合神经网络从异构数据中学习用户与任务之间的复杂关系。为了确保参数的可解释性，这对认知诊断至关重要，我们采取了两个步骤。第一步是使用技能相关性向量将用户认知状态向量的每个维度与特定技能相匹配。第二步是将单调性假设应用于多层神经元，使认知状态值与用户成功完成任务的预测概率方向一致。受IRT的启发，在这个框架下实现了一个叫做NeuralCDM的模型，如图2所示。

值得一提的是，NeuralCD是一个通用框架，它既可以从异构数据中学习，也可以涵盖许多传统的cdm。例如，如图3所示，NeuralCDM可以看作是IRT的概化:(1)表示参数从一维到多维;(2)添加技能关联向量，实现技能对齐;(3)将单一的Sigmoid交互函数替换为多层神经网络。这些进展增强了拟合能力，同时保持了参数良好的可解释性[Wang et al.， 2020]。

3 CDMs的扩展

鉴于IRT和NeuralCDM等基本认知诊断模型，我们进一步介绍了这些模型在扩展方面取得的典型进展。

关系图驱动的CDMs

以往的研究大多将认知诊断看作是一种层间交互(如用户任务交互或用户技能交互)建模问题，而不同知识概念(如概念数在概念算术之前必须学习)之间的教育依赖性等内层结构关系、还未开发。因此，我们提出了一种关系图驱动的认知诊断**(RCD)** [Gao et al.， 2021]，通过多层关系图统一捕获内层结构和层间相互作用。我们首先将用户、任务和技能表示为分层布局中的单个节点。在此基础上，构建了3个局部图，分别是用户任务交互图、任务技能关联图和技能依赖图，对复杂的用户任务-技能关系(如教育中的学生练习-概念)进行了完整的建模。节点可以递归地聚合邻居的信息。随后，我们设计了一个融合层，对每个节点采用节点级和映射级聚合，并利用注意网络来平衡多层次信息。RCD中关系丰富的表征可以直接融合到现有的cdm中，进一步提高其诊断性能。

情境感知的CDMs

使用者所处的环境，如学校、家庭、学生所在地区等，对使用者的内隐认知状态有重要影响。因此，用户的显性响应记录和隐性上下文应该更能反映用户的熟练程度。我们设计了一种新的教育情境感知认知诊断(ECD) [Zhou等人，2021]，将丰富的教育情境特征纳入现有的CDMs。具体来说，由于教育背景通常涉及不同类型的内容，我们首先将不同的背景分为几个领域。然后，我们使用一个教育情境建模阶段，该阶段利用一个分层的关注网络来代表每个领域中的情境的个性化影响，并生成情境所反映的学生外在特质。其次，考虑到教育情境对学生的影响应该是全面的，而不仅仅局限于具体的知识概念，我们设计了一个诊断增强阶段，在此阶段，学生的外在特质与内在特质(即历史学习记录所反映的认知状态)进行适应性整合。这个通用的ECD框架被明确定义，以促进大多数现有cdm的绩效。实验结果也显示了关于不同国家和地区不同教育背景之间差异的有趣发现。

CDMs的项目反应排名

单调性是认知诊断理论中的一个基本和关键条件，它假设用户的技能熟练程度与正确答案的概率是单调的[Wang et al.， 2020]。然而，现有cdm的优化过程并没有充分考虑这一特性。因此，我们将配对学习策略引入认知诊断，并提出了一个通用的项目反应排名框架(IRR) [Tong et al.， 2021]来直接模拟CDMs项目反应之间的单调性。具体来说，由于不同的项目(任务)通常与非重叠的技能/概念有关系，我们设计了一种项目特定的配对抽样方法，该方法抽样不同用户对同一项目的反应，以保持相同的相关技能。然后，为了将未观测到的响应与观测到的响应结合起来，我们采用分支抽样方法，即积极抽样和消极抽样。在这些抽样对的基础上，我们可以引入成对学习来对响应对之间的偏序进行建模，其中成对目标函数直接用于优化单调性。大量的实验表明，具有IRR的cdm可以得到显著的改善，IRR也可以提供一些可解释的见解

隐私保护的CDMs

目前的CDMs大多具有数据聚合和集中培训的共同特点，自然方便，但存在隐私泄露的风险。一种可能的解决方案是利用联合学习(FL)来构建和聚合cdm，同时保持私有数据的隔离。标准FL是一个具有两个核心部分的迭代框架:客户端和服务器，其中所有客户端在用户数据上单独训练具有一致结构的局部模型，服务器将同构局部模型聚合为全局模型。但是在认知诊断中，由于用户的习惯不同，不同的客户端存储的数据不一致，因此不适合直接使用FL。我们提出了分层个性化联邦学习(HPFL)框架[Wu et al.， 2021]，该框架适用于现有的CDMs，适用于具有三种不一致客户端的孤立场景:(1)个人响应数据非独立同分布(Non-IID)，导致统计异质性;(2)不同信息对隐私的要求不同，导致隐私存在异质性;(3)由于私有数据的属性不同，不同客户端之间的模型结构也应该不同，这就造成了模型的异质性。为了解决这些问题，在客户端阶段，我们定义了公共信息和私有信息，并相应地设计了一个包含公共组件和私有组件的本地模型。然后，我们提出了一种细粒度的个性化更新策略来融合相应的组件。在服务器阶段，我们利用差异化的组件聚合策略来聚合从客户端接收到的组件。这样，HPFL成功地将FL应用于认知诊断中，以保护数据隐私。

4 认知诊断的应用

推荐系统的目标是通过获取用户的喜好和熟练程度来匹配用户和合适的项目。由于认知诊断可以衡量用户的优缺点，我们将其应用于推荐新任务(如向学生推荐练习)中，以增强用户理解[Huang et al.， 2019]。具体来说，我们首先设计多个长期有益的目标，如推荐任务难度水平的平滑度。然后，我们将这些目标形式化为奖励函数，以优化推荐策略。认知诊断作为整个过程中最重要的部分，用来计算用户在每个时间步长的状态。
自适应学习是指针对用户个体提供不同的学习路径，自适应性是指路径中的推荐项会根据用户的能力和偏好进行动态调整。考虑到动态认知诊断在自适应学习中起着关键作用，我们提出了CSEAL框架(cognitive Structure Enhanced framework for adaptive learning) [Liu et al.， 2019]。CSEAL将自适应学习视为马尔可夫决策过程(Markov Decision Process)，可以利用用户的知识水平和学习项目的知识结构(如先决条件关系)来推荐有效和逻辑的学习路径。
计算机自适应测试(CAT)是许多标准测试中兴起的一种测试形式，旨在通过对每个考生的个性化测试程序/练习，快速、准确地诊断出考生的知识掌握水平。典型的CA T由两个迭代组成:CDM和练习选择策略。在每一步，在收到考生的答案后，CA T使用一个CDM来估计她目前的知识水平，然后为该考生选择合适的练习，在下一步进行回答。现有的CA T系统通常是不灵活的，因为它们的运动选择策略与特定的cdm相结合。受机器学习中主动学习的启发，我们提出了一种新的模型未知自适应测试框架(Model-Agnostic Adaptive Testing framework, MAAT) [Bi et al.， 2020]，该框架在选择高质量和多样化的练习时可以适应不同的CDMs。

5 结论与未来研究方向

为了从用户观察到的行为中获得准确且可解释的用户熟练程度测量值，我们在过去几年开发了一系列认知诊断模型。事实上，随着大数据的出现，越来越多的人从机器学习的角度进行研究。为了便于这方面的研究，我们发布了几个典型的CDMs的源代码，并收集了一些公共数据集的链接。
在未来，仍有许多悬而未决的问题。例如，如何在用户响应时收集和利用更详细的用户行为;如何将认知诊断的理念应用于教育之外的更多场景[Anet al.， 2021];如何结合心理测量学理论和机器学习的优势，设计更合理的认知诊断框架。