【论文解读|IJCAI2021】Towards a New Generation of Cognitive Diagnosis

本文是他们研究组近期的进展总结

摘要

认知诊断是一种评估，通过观察个体的行为，自动衡量个体的能力概况，如量化考生对特定知识概念/技能的掌握程度。认知诊断模型作为智能教育等领域的基础研究课题之一，在过去的几十年里发展了许多认知诊断模型。尽管这些解决方案通常是基于心理测量理论设计的，但它们仍然受到手工诊断功能能力的限制，特别是在处理异构数据时。在这篇文章中，我将分享我个人对认知诊断的理解，并主要从机器学习的角度回顾我们最近的CDMs发展。同时，我将展示认知诊断的广泛应用。

1 引言

众所周知，每个人的个人信息(如年龄、性别和位置)和潜在特征(如偏好和熟练程度)都是不同的。因此，在人工智能的应用中，比如推荐系统，我们需要自动发现这些差异，为用户提供更好的服务。沿着这条线，认知诊断是一种评估，通过观察用户的行为来衡量他们的熟练程度。
实际上，认知诊断起源于以下基本假设:(1)在完成任务时，观察到的用户交互行为(如正确或错误的反应)是由用户潜在的认知状态(如对所需技能的熟练程度)决定的，(2)每个用户的认知状态在短时间内是稳定的，因此可以诊断[Gao et al.， 2021]。让我们以图1为例，两个用户u1和u2刚刚参加了同一个考试，其中有五个任务/练习，完成每个任务需要不同的技能。虽然这两个用户的总分是一样的(60分)，但是在认知诊断的帮助下，我们可以从雷达图中发现他们对特定技能的熟练程度有很大的不同。由于认知诊断对于游戏、体育、招聘、电子商务和教育等领域具有重要意义，人们在这一研究问题上投入了大量的精力，如确定性输入、噪声和门模型(DINA) [De La Torre, 2009]、项目反应理论(IRT) [Lord，1952]和多维IRT (MIRT) [Reckase, 2009]。事实上，现有的认知诊断模型(CDMs)大多是基于心理测量理论设计的，诊断结果具有很好的解释作用。尽管之前的研究很重要，但诊断功能通常是手工制作的，只能利用用户的数字响应记录，导致在捕捉用户、任务和技能之间的复杂关系方面能力不足。

为了解决这些问题，在过去的几年里，我们对认知诊断进行了全面的研究，并开发了几种主要从机器学习角度的认知诊断模型。我们的贡献包括:

• 我们提出了一个新的神经认知诊断(NeuralCD)框架，该框架将神经网络引入到复杂的用户任务交互中，以获得准确和可解释