写在前面:
本文在DKVMN的基础上结合项目IRT,加入了student ability network 和 difficulty network两个网络,增加深度知识追踪的可解释性
1 摘要
基于深度学习的知识追踪模型已被证明在不需要人工设计特征的情况下优于传统的知识追踪模型,但其参数和表示长期以来一直被批评为无法解释。在本文中,我们提出了 Deep-IRT,它是项目响应理论 (IRT) 模型和基于称为动态键值记忆网络 (DKVMN) 的深度神经网络架构的知识追踪模型的综合,用于进行深度学习基于可解释的知识追踪。具体来说,我们使用 DKVMN 模型来处理学生的学习轨迹,并随着时间的推移估计项目难度水平和学生能力。然后,我们使用 IRT 模型使用估计的学生能力和项目难度来估计学生正确回答项目的概率。实验表明,Deep-IRT 模型保留了 DKVMN 模型的性能,同时提供了对学生和项目的直接心理解释。
2 相关工作
2.1 项目反应理论(IRT)
自 1950 年代以来,项目反应理论 (IRT) 一直用于教育测试环境。它根据学生的能力水平 θ 和项目的难度水平 β j \beta_j βj(在最简单的单参数 IRT1 中)输出学生在测试期间正确回答问题 j 的概率 P (a)。该概率由具有以下特征的项目响应函数定义: 如果学生的能力水平较高,可以以高准确率正确回答问题。另一方面,如果一个项目更难,学生正确回答该项目的概率较低。最常见的是,逻辑回归模型在 IRT 模型中用作项目响应函数:
P ( a ) = σ ( θ − β j ) = 1 1 + e x p ( − ( θ − β j ) ) (1) P(a)=\sigma(\theta-\beta_j)=\frac{1}{1+exp(-(\theta-\beta_j))}\tag{1} P(a)=σ(θ−βj)=1+exp(−(θ−βj))1(1)
除了估计概率 P (a) 之外,IRT 模型还被广泛用于估计学生能力 θ 和项目难度水平 β j \beta_j βj。然而,由于 IRT 模型最初是为教育测试环境设计的,因此该模型假设学生的能力在测试期间不会发生变化。因此,它不能直接应用于知识追踪任务,因为学生的知识状态会随着时间而变化。
2.2 基于因素分析(Factors Analysis )的知识追踪
在 2000 年代,学习因素分析 (learning factors analysis -LFA) 和性能因素分析 (performance factors analysis -PFA) 被提出来使用逻辑回归模型来处理知识追踪任务。两种模型都类似于 IRT 模型,但它们通过学习技能水平参数来估计学生正确回答问题的概率。 LF A 的公式如下:
P ( a ) = σ ( θ + ∑ j ∈ s k i l l s ( γ j N j − β j ) ) (2) P(a)=\sigma(\theta+\sum_{j\in skills}(\gamma_jN_j-\beta_j))\tag{2} P(a)=σ(θ+j∈skills∑(γjNj−βj))(2)
其中 σ(·) 是 sigmoid 函数,θ、 γ j \gamma_j γj 和 β j \beta_j βj