DKT+模型

《Addressing Two Problems in Deep Knowledge Tracing via Prediction-Consistent Regularization》

DKT模型存在的两个问题

1. 无法重构观察到的输入 ：DKT有时候不能重构观察到的输入，因为模型的预测有时候是反常的。例如某个学生答对了一个问题$s_i$，该学生对该知识点$s_i$的掌握反而是下降的。
2. 预测状态的波动：随着时间的推移，预测的状态是波动的和不稳定的；而我们期待学生的状态是平稳渐变的。

因此，作者对DKT提出了下面的改进：

1. 用于解决重构问题的重构误差r（reconstruction error r to resolve the reconstruction problem）；
2. 用于平滑预测的知识状态转换的波动度w1和w2（waviness measures w1 and w2 to smoothen the predicted knowledge state transition.）。

解决问题1

作者在文中首先重现了第一个问题：

之前的DKT模型是在ASSISTment 2009数据集上面训练的，上面的这个图表示随着训练的进行，某个学生的知识状态的变化情况。在垂直维度上的标签si对应于技能标签，并且只显示那些学生已经回答过的问题。水平维度上的标签指的是在每个时间步长输入到DKT的数据。热图的颜色表示该学生在下一个时间步骤中正确回答si的预测概率。颜色越深，答对的概率越高。

从上面这个图可以看出，当这个学生答错了$s_{32}$之后，与前一个时间步长相比，正确回答$s_{32}$的概率反而显著增加。这个问题的原因在于DKT模型使用了下面这个损失函数：

具体来说，这个损失函数只考虑下一个交互作用的预测性能，而不考虑当前交互作用的预测性能。因此，当输入序列$((s_{32},0)，(s_{33},0))$足够频繁时，DKT模型就会了解到，如果学生答错了$s_{32}$，他很可能会答错$s_{33}$，而不是答错$s_{32}$。
但是也存在这样一种可能： s 32 s_{32}