Heterogeneous Graph Representation for Knowledge Tracing论文总结

3 Preliminaries

3.1 Knowledge Tracing（知识追踪）

在KT任务中，一组学生 S 依次回答一系列来自集合 Q 的问题。在时间步 t ，一个学生s∈S回答一个问题qt ∈ Q,其正误为$a_t$∈ {0, 1}.在时间步长T之前观察到的学习交互序列是:

在时间步T+1，给定一个历史序列X和新问题$q_{T+1}$，KT的目标是预测学生正确回答新问题的概率:

让ℓ作为损失函数(例如，二进制交叉熵)。答案的预测损失是ℓ(a${}_{t+1}$，${\hat{a}}_{t+1}$)，学生的损失是${\sum }_t\ell (a_{t+1}，{\hat{a}}_{t+1})$。

3.2 Heterogeneous Graph（异质图）

一个异质图G=（V，E）由一个顶点集V和一个边缘集E组成，它与一个顶点类型图和一个边缘类型图相关联，因此每个顶点和边缘都有自己的类型。

元路径$\varphi$是一条路径$A_1\stackrel{R_1}{⟶}{A}_2\stackrel{R_2}{⟶}\cdots \stackrel{R_l}{⟶}{A}_{l+1}$，描述了所有中间的边缘类型$R_1,..R_l$在顶点类型$A_1$和$A_{l+1}$之间。给定一个元路径$\varphi$，基于元路径的邻居$N^{\varphi }$是一个从顶点i到通过元路径$\varphi$与顶点i相连的顶点的集合。元路径是异质图的一个基本结构，它可以表达某些语义并揭示多样化的结构信息。

如图1所示，元路径question-concept-question代表具有相同概念的问题（如q1和q4），而元路径question-student-question代表由同一个学生完成的问题（如q2和q3）。基于元路径question-student-question的问题q2的邻居包括q2（本身）和q3，表明s2同时回答了这两个问题。它基于元路径question-concept-question的邻居包括q2、q1和q4，表明它们共享同一个概念c1。

3.3 Message Passing（信息传递）

为了利用图的结构知识，我们利用消息传递来获得图G(V，E)中节点的新嵌入。我们可以使用GNN层来应用到所有通过从源节点{$v_i|(v_i，v_j)\in E$}传递到目标节点{$v_j|(v_i，v_j)\in E$}的边的信息消息。我们构造一个嵌入矩阵M =($h_1^T；...；h_N^T$ ) ∈ R${}^{N\times d}$，由所有节点的嵌入向量组成，其中$h_i=M_{i,\ast }\in R^d$是顶点$v_i$的嵌入向量。GNN将输入嵌入矩阵变换成新的嵌入矩阵M′= GNN(M | G)，其中节点i的新嵌入$h_i^{\prime }=M_{i,\ast }^{\prime }$。

对于异构图G′，我们应该为每种类型的节点构造多个嵌入矩阵。对于$A_k$类型的节点，其对应的嵌入矩阵是$M_k$。消息传递应用到从源节点到各种类型的目标节点。使得源节点有$n_s$个不同的类型{$A_1^S，...A_{n_s}^S$},目标节点有$n_t$个不同类型的{$A_1^T，...A_{n_t}^T$}，则HGNN将源嵌入矩阵变换成目标的嵌入矩阵，即{$M_1^T,...M_{n_t}^T$} = HGNN$(M_1^S,...,M_{n_s}^S|G\prime )$

4 4 Method

4.1 KTHG

知识追踪的数据包括学生、问题、概念、答案及其关系。我们将不同类型的节点和边建模为知识跟踪异构图（KTHG）。让S、Q和C分别是学生、问题和概念的集合。设A=｛A|A=0或A=1｝为答案的集合，其中成员1和0表示答案正确或错误。我们将KTHG $G_{KT}（V_{KT}，E_{KT}）$定义为三个更简单的异构图$G_{sq}，G_{qc}，G_{qa}$的组合，即$G_{KT}=G_{sq}\cup G_{qc}\cup G_{qa}$。

Student-Question Graph(学生-问题图)。学生问题图$G_{sq}$（S∪Q，$E_{sq}$）是一个二分图，其中$E_{sq}$包含训练数据中学生和问题之间的相互关系，无向边（$s_i，q_j$）表示学生$s_i$∈S回答问题$q_j$∈Q，如图2（b）的上部所示。

Question-Concept Graph(问题-概念图)。问题概念图$G_{qc}$（Q∪C，$E_{qc}$）是一个二分图，其中$E_{qc}$包含问题和概念之间的关系。无向边（$q_i，c_j$）意味着问题$q_i$∈Q与概念$c_j$∈C有关，如图2（b）的下部所示。

Question-Answer Graph(问题-回答图)。问答图$G_{qa}$$(Q\cup A\cup Q_A,E_{q{q}_a}\cup E_{a{q}_a})$是两个完全二分图$G_{q{q}_a}(Q\cup A,E_{q{q}_a})$和$G_{a{q}_a}(A\cup Q_A,E_{a{q}_a})$。$Q_A$是问题和回答的联合。 Q A = { q i 0 , q i 1 } i = 1 ∣ Q ∣  for  Q = { q i } i = 1 ∣ Q ∣ ,  and  ∣ Q A ∣ = 2 ∣ Q ∣ \mathcal{Q}_A=\left\{q_{i 0}, q_{i 1}\right\}_{i=1}^{|\mathcal{Q}|} \text { for } \mathcal{Q}=\left\{q_i\right\}_{i=1}^{|\mathcal{Q}|}, \text { and }\left|\mathcal{Q}_A\right|=2|\mathcal{Q}| QA​={qi0​,qi1​}i=1∣Q∣​ for Q={qi​}i=1∣Q∣​, and ∣QA​∣=2∣Q∣具体地，为了将问题$q_i$∈Q与回答a相结合，我们分别使用两个新的顶点$q_{i1}，q_{i0}\in Q_A$用来表示问题被正确回答和错误回答，称为question-with-answer (qa for short)节点。

如图2（a）所示，问题$q_1$和两个回答“a=0”和“a=1”通过两个元路径（question–$q_a$和answer-$q_a$）连接到$q_{10}$和$q_{11}$。我们使用这两个元路径将问题嵌入和答案嵌入融合到具有答案-问题的嵌入中。

4.2 Representation Learning on KTHG

我们将HGNN层堆叠以组成多层HGNN，并将KTHG上的消息传递与双层HGNN应用于生成节点的表示，其中包含与它们连接的其他节点的图结构信息。尽管我们可以获得任何类型节点的新嵌入，但我们只使用生成的关于问题的嵌入作为KT模型的输入特征，因为学生的表现主要与它们有关。

对于所有类型的节点集合S、Q、C、A、$Q_A$，我们构造嵌入矩阵$M_S、M_Q、M_C、M_A、M_{QA}$。首先，我们使用HGNN层将原始问题嵌入、学生嵌入和概念嵌入聚和为问题嵌入：

其中${\mathbf{M}}_Q^{\prime }=\left({\mathbf{q}}_1^{\prime \mathrm{T}};\dots ;{\mathbf{q}}_N^{\prime \mathrm{T}}\right),{\mathbf{q}}_i^{\prime }={\left({\mathbf{M}}_Q^{\prime }\right)}_{i,\ast }\text{ and }N=|\mathcal{Q}|$。
在student-question-concept的图上传递信息，使用元路径结束以问题节点来聚合的问题嵌入，包括了关于问题、学生和概念的信息。
在为学生的学习过程建模时，我们需要将有关问题和回答的信息结合起来。我们使用另一个HGNN层将聚合问题嵌入$M_Q^{\prime }$回答嵌入$M_A$聚合为问题-回答的嵌入向量$M_{QA}^{\prime }$中：

其中，${\mathbf{M}}_{QA}^{\prime }=\left({\mathbf{q}}_{10}^{\prime \mathrm{T}};{\mathbf{q}}_{11}^{\prime \mathrm{T}};\dots ;{\mathbf{q}}_{N0}^{\prime \mathrm{T}};{\mathbf{q}}_{N1}^{\prime \mathrm{T}}\right)\text{ and }{\mathbf{q}}_{ia}={\left({\mathbf{M}}_{QA}^{\prime }\right)}_{2i+a-1,\ast }$。我们在问题回答图上进行消息传递，并使用以问题-回答节点为结束的元路径，因此带有答案嵌入的聚合问题携带其相应的聚合问题嵌入和答案嵌入的信息。

4.3 KTHG Representations for KT model

我们通过学生的学习互动序列{$q_t,a_t$}${}_{t=1}^T$来追踪学生的知识状态.注意，这里qt表示时间步长t中的问题ID（而不是ID为t的问题）。我们的KT模型的架构如图2（c）所示。在KTHG上进行表示学习后，我们得到了KT模型的带有图结构信息的问题嵌入矩阵$M_Q^{\prime }，M_{QA}$。对于问题$q_t$，我们可以得到它的聚合问题嵌入$q_t^{\prime }=(M_Q^{\prime }{)}_{q_t,\ast }$。当追踪学生的知识状态时，对于当前的回答，我们可以得到问题-回答的嵌入向量$q_{ta}^{\prime }=(M_{QA}^{\prime }{)}_{2q_t+a_t-1,\ast }$。

然后，与DKT[19]类似，我们使用RNN来跟踪学生的知识状态。对于每个时间步长t，我们将嵌入$q_{ta}^{\prime }$送到RNN单元中，以更新RNN的隐藏状态向量$h_t$：

在预测中，我们使用学生当前的知识状态和问题嵌入来预测答案。具体来说，我们首先将RNN的当前状态$h_{t-1}$与问题嵌入向量$q_t$的聚合问题起来。之后，我们将连接起来的向量送到完全连接层中以获得向量$h_t^{\prime }$，然后我们将向量馈送到Sigmoid激活层中以计算正确回答的概率，表示为：

其中$⨁$表示串联算子，σ是Sigmoid函数.