DKVMN学习

---

前言

BKT是特定概念的。DKT使用一个总结的隐向量对知识状态进行建模。DKVMN同时维护每个概念的概念状态，所有的概念状态构成学生的知识状态。

1. 为了更好地模拟学生的学习过程，利用了MANNs的实用性。
2. 提出了一种具有一个静态键矩阵和一个动态值矩阵的DKVMN模型。
3. 我们的模型可以自动发现概念，这是一项通常由人类专家执行的任务，并描述学生不断发展的知识状态。
4. 我们的端到端可训练模型分别在一个合成数据集和三个真实世界数据集上的表现优于BKT和DKT。

---

Memory-Augmented Neural Network(MANN) for Knowledge Tracing

DKVMN模型

首先将输入练习qt乘以一个嵌入矩阵A(大小为Q × dk)，得到一个维数为dk的连续嵌入向量kt。通过取kt与每个key slot Mk(i)之间内积后用SoftMax激活，进一步计算相关权值:

Read process

Write process
学生回答完问题qt后，模型会根据学生回答的正确性更新值矩阵。
将元组(qt, rt)嵌入2Q × dv的嵌入矩阵B中，以获得学生完成本练习后的知识增长vt。当将学生的知识增长写入价值组件时，在添加新信息之前，首先删除记忆，这一步骤受到LSTMs中的输入和忘记门的启发。

Training
损失函数：

实验结果

当内存大小N设置为5时，概念发现在合成-5数据集上的结果。在左边的热图中，x轴表示每个练习，y轴表示练习与DKVMN模型生成的五个潜在概念之间的相关权重。在每个练习的顶部都标注了基本的概念。在右边的练习聚类图中，每个节点数代表一个练习。来自同一个基本真理概念的练习被聚集在一起。

一个学生在5个概念上的知识状态变化的例子。概念在左侧用不同的颜色标记。在回答了50个练习后，学生掌握了第二、第三和第四个概念，但不能理解第五个概念。

---

DKVMN总结

•DKVMN在四个数据集上优于标准MANN和最先进的方法。
•DKVMN可以比DKT在更少的参数下产生更好的结果。
•DKVMN不受过拟合的影响，这对DKT来说是一个大问题。
•DKVMN可以精确地发现输入练习的底层概念。
•DKVMN可以描述学生不同概念随时间变化的概念状态

---

1. 借助外部存储器可以更好地模拟KT问题。
2. 我们的具有一个静态密钥矩阵和一个动态值矩阵的DKVMN模型现在是KT的最新技术。
3. 我们会将内容信息整合到练习和概念嵌入中，以进一步改善其表示形式。
4. 可以设计具有动态键和值矩阵的新模型，以更好地模拟学生的学习过程。

参考文献：
Zhang J, Shi X, King I, et al. Dynamic key-value memory networks for knowledge tracing[C]//Proceedings of the 26th international conference on World Wide Web. 2017: 765-774.

DKVMN-BORUTA模型

DKVMN模 型 在 时 间ｔ读 取 值 存 储 器 Ｍｖｔ中 的 潜 在 知 识 状 态，以 形 成 读 取 向 量 ｒｔ，计 算式 为


式中：Ø为激Sigmoid活函数；ｂｉｔ＝Ｓｉｇｍｏｉｄ｜ｂｔ｜。ｂｔ的具体计算方法：挖掘出的有效学习行为是看学习视频和讨论区讨论，则学习行为序列特征向量为（学习视频，讨论），若学习者先看学习视频再打开讨论
区讨论，然后又看了学习视频再进行答题，则这个学习者学习行为序列为ｂｔ＝（２，１）。总体向量融合了学习者当前知识状态、当前题目内容特征和BORUTA的特征集。


式中：Ｗｅ为擦除权重；Ｗａ为添加权重；ｔ为学习者做题时间离散化值。最终经过先“擦 除”后 更新的过程，学习者的知识状态动态更新过程表达式为：

式中：学习者经过ｔ时刻的答题行为ｘｔ＝（ｑｔ，ａｔ）；动态矩阵 Ｍ 的值由Ｍｖｔ 转换成Ｍｖｔ＋１。

参考文献：
李浩君, 卢佳琪, 吴嘉铭. 融合学习过程特征的深度知识追踪方法[J]. 浙江工业大学学报, 2022.

---

SKVMN模型

1. SKVMN结合了DKT的循环建模能力和DKVMN的记忆能力的优点，对学生学习进行建模。尽管键值记忆可以帮助跟踪学生的概念状态，但它在建模对顺序数据的长期依赖时并不有效。通过将lstm合并到学生随时间变化的知识状态的序列建模中来解决这个问题。因此，SKVMN不仅增强了键值记忆，增强了知识状态在每个时间步上的表示能力，而且还提供了循环建模能力，以捕获序列中不同时间步上知识状态之间的依赖性。

2. SKVMN在序列建模中使用一种改进的带跳LSTM，称为Hop-LSTM。Hop-LSTM与标准LSTM架构不同，它使用一个三角形层来发现序列中练习之间的顺序依赖关系。然后，根据潜在学习概念的相关性，模型可以在LSTM细胞之间跳跃。这使得与相似概念相关的相关练习可以一起处理。通过这样做，推断变得更快，并且在练习序列中捕获长期依赖关系的能力得到了增强。

3. SKVMN改进了DKVMN的写过程，以便更好地表示存储在键值存储器中的知识状态。在DKVMN中，计算新练习的知识增长时不考虑当前的知识状态。这意味着之前的学习经验被忽略了。例如，当一个学生多次尝试同一个问题时，同样的知识增长将被添加到知识状态中，不管该学生之前是否回答过这个问题，也不管该学生的答案正确了多少次。SKVMN通过使用摘要向量作为写过程的输入解决了这个问题，它既反映了学生的当前知识状态，也反映了新问题的先前难度。

Attention:

Read:


Write:




Sequential dependencies:

Hop-LSTM:


总结：SKVMN的目标是克服现有KT模型的局限性。它在内存层增加了一个键值存储器，在序列层增加了一个被称为Hop-LSTM的修改LSTM。实验结果表明，SKVMN在所有数据集上都优于现有的模型。

参考文献:
Knowledge Tracing with Sequential Key-Value Memory Networks

---

Deep-IRT模型

Item Response Theory：

IRT模型除了估计概率P (a)外，还被广泛用于估计学生能力θ和项目难度βj。然而，由于IRT模型最初是为教育测试环境设计的，该模型假设学生的能力在测试过程中是不变的。因此，它不能直接应用于学生的知识状态随时间变化的知识跟踪任务。

Deep-IRT:IRT+DKVMN

1. 提出的Deep-IRTt知识追踪模型能够推断出学生能力和知识学习者难度的有意义估计，同时保留了基于深度学习的知识追踪模型的预测能力。
2. Deep-IRT模型通过利用整个学习轨迹，而不是传统的教育测试环境，潜在地提供了一种评估KC难度水平的替代方法。
3. 提出使用深度学习模型输出心理测量模型的参数，以利用深度学习能力提供可解释的心理测量参数。除了知识跟踪任务之外，这个想法还可以应用到其他地方。
   
   Getting Attention Weight：
   
   Making Prediction：
   
   Updating V alue Memory：
   
   Student Ability and Difficulty Networks：
   
   总结：Deep-IRT模型为基于深度学习的知识追踪模型赋予可解释性。实验表明，Deep-IRT模型保留了基于深度学习的知识跟踪模型的性能，同时能够随着时间的推移估计KC难度水平和学生能力水平。此外，Deep-IRT模型估计的难度水平与其他传统方法(如IRT模型和项目分析)得到的难度水平一致。因此，它可能提供了一种利用整个学习轨迹来估计KC难度水平的替代方法，而不是传统的教育测试环境。然而，在学习KC的内在依赖性方面仍有改进的空间。其中一种可能的方法是通过结合问题的内容来学习更好的KC向量表示。

参考文献：
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory