论文导读：Exercise-Enhanced Sequential Modeling for Student Performance Prediction

Exercise-Enhanced SequentialModeling for Student Performance Prediction

智能教育系统中，如何有效预测学生表现是非常重要的，也是进行个性化推荐，学习路径规划的基础，常用的预测方式依赖于专家将学习材料进行的知识成分的标注，如题目对应的知识点等，并没有考虑题面信息。而相同的知识点的题目难度，区分度或其他技能要求都是有所不同的，所以作者考虑将体面信息进行利用，提出了Exercise-Enhanced Recurrent Neural Network (EERNN) 进行学生表现预测。

模型

模型主要包括三部分：1.使用bi-LSTM对题面信息进行表征编码；2.使用另外的LSTM结构进行知识追踪的学习；3.对于最终的预测，将EERNN进行拓展，一是加入马尔可夫性，二是采用了attention机制。

模型优点：

作者所提出的模型优点在于：

1. 模型输入不仅利用了学生做题序列，也将题目信息加入其中。
2. 模型由于加入attention机制，更加聚焦于当时的效果而不是长期依赖的影响。
3. 模型解决了冷启动问题，即对于新来的学生或题目，都可以进行预测。

算法过程：

$S$表示学生集合，$E$表示练习集合，第i个学生的做题过程表示为：$s_i=\left\{\left(e_1^i,r_1^i\right),\left(e_2^i,r_2^i\right),\dots ,\left(e_T^i,r_T^i\right)\right\}$，其中$e_j^i$表示学生i做过的第j个练习，$r_j^i$表示对应得分（0或1）。每个练习题是由多个词组成的，对应表示为：$e_i=\left\{w_1^i,w_2^i,\dots ,w_M^i\right\}$。模型要解决的任务是根据学生做题序列和对应的题目信息，预测在下个题目上的得分情况：

$${\tilde{r}}_{T+1}=P\left(r_{T+1}=1|\left(e_1,r_1\right),\left(e_2,r_2\right),\dots ,\left(e_T,r_T\right),e_{T+1}\right)$$

上图为模型架构图，$e_i$表示第i步对应的练习题，$x_i$是对应题目编码后的向量，$r_i$为对应答题结果，${\tilde{x}}_i$为送入模型的输入，具体公式如下：

${\tilde{x}}_t=\{\begin{array}{ccc}[x_i,o_i]& if& r_i=1\\ [o_i,x_i]& if& r_i=0\end{array}$ 其中 $o_i$是把 $r_i$扩展为 $x_i$相同维度后的向量。
EERNN模型的马尔可夫特性体现在，T+1时刻输出只与T时刻状态有关，具体如下公式所示： $y_{T+1}=\mathrm{Re}LU\left({\mathbf{W}}_1\cdot \left[h_T\oplus x_{T+1}\right]+{\mathbf{b}}_1\right)$
${\tilde{r}}_{T+1}=\sigma \left({\mathbf{W}}_2\cdot y_{T+1}+{\mathbf{b}}_2\right)$

模型引入注意力机制后，其核心在于使用了题目信息的相似性作为attention的score，具体公式如下：

$h_{att}={\sum }_{j=1}^T{\alpha }_j{h}_j,{\alpha }_j=\cos \left(x_{T+1},x_j\right)$
模型采用的损失同样为交叉熵损失，公式如下： $\mathcal{L}=-{\sum }_{t=1}^T\left(r_t\log {\tilde{r}}_t+\left(1-r_t\right)\log \left(1-{\tilde{r}}_t\right)\right)$

结论

文章所提出模型和DKT模型的核心区别在于，1. 在输入中使用了题目信息，2.使用题目编码后的向量做cosine相似性计算，作为注意力机制的score应用与模型。