Utilizing Knowledge Graph and Student Testing Behavior Data for Personalized Exercise Recommendation

论文笔记_《Utilizing Knowledge Graph and Student Testing Behavior Data for Personalized Exercise Recommendation》

利用知识图谱和学生测试行为数据进行个性化的练习推荐

摘要

在本文中，尝试利用学生的学习行为和知识点之间的先决条件来提高个性化练习推荐的有效性。通过一个实例，证实了个性化练习推荐算法在推荐精度和差异性方面的有效性。

关键词：知识图谱、个性化推荐系统、智能教学系统

1 引言

传统的习题分配方式将同一组习题交给不同的学生，忽略了这些学生在学习状态上的差异。学习成绩好的学生会发现指定的练习对他们的进一步学习毫无用处，而学习水平低的学生会发现指定的练习对他们来说太难，从而失去学习兴趣。

在个性化练习推荐领域，主要有两种方法：协同过滤和基于学习状态的方法。协同过滤通过考虑具有相似品味的学生的偏好向学生推荐练习，没有考虑这些学生在学习状态方面的差异。基于学习状态的推荐技术根据学生最近的学习状态（例如，学生对不同知识点的掌握程度）推荐练习，从而在推荐中获得更好的性能。然而，大多数基于学习状态的推荐技术没有利用知识点之间的结构来进行推荐。

在本文中，提出利用知识点之间的先决条件关系来发现学生的前提难解知识点，并推荐与该前提难解知识点的练习，再推荐后续难解知识点相关的练习。

通过建立基于教科书和外部知识库（比如维基百科）的知识图谱，获取知识点之间的先决关系。知识图谱中的每个知识点都由学生对该知识点的掌握程度进行加权，该知识点是根据学生在线考试期间的考试行为计算的。因此，学生有一个独有的加权知识图（WKG），该图捕捉了知识点之间的先决条件依赖关系和学生的学习状态。

推荐算法遵循两个推荐原则：
1）首先推荐一个与先决知识点对应的练习；
2） 在原则1的前提下，对于两个知识点，首先推荐掌握程度较低的知识点对应的练习。

2 相关工作

2.1知识图谱

知识图通常基于从外部知识库（如YAGO和Wikipedia）中提取的实体和实体之间的关系来构建。然而，大多数知识图的构造技术只关注于一般实体关系的提取，例如“is-a”关系和“part-of”关系。近年来，概念之间的前提关系越来越受到研究者的关注，因为前提关系反映了学习过程中合理的学习顺序。例如，在关系数据库理论中，第二范式（2NF）是第三范式（3NF）的先决知识，因此在学习3NF之前必须掌握2NF。在本文中，利用知识点之间的先决条件依赖关系来确定推荐给学生的练习以及练习的推荐顺序。

2.2教育推荐技术

协作过滤技术通常用于完成对学生推荐的练习，局限性是不能及时捕获每个学生的最新学习状态。为了避免这种限制，有研究提出为每个学生建立一个学习状态模型。构建的学习状态模型根据学生在MOOC平台上的学习行为量化学生的知识掌握程度，并根据学生对知识点的掌握程度向学生推荐相关学习资料。

在本文中，根据在线测试中捕获的学生行为，量化每个学生的学习行为（即学生对每个知识点的掌握程度）。进一步利用知识点之间的先决条件关系来提高练习推荐的有效性。

3 加权知识图谱的构造

3.1 知识图谱的构造

知识图构建方法包括两个独立的阶段：
1）提取给定课程《数据库原理》的知识点：两位教师根据他们的经验从教科书中手动提取候选知识点，只有当候选知识点在Wikipedia中以实体形式出现时，才会被确定为一个知识点。
2）确定知识点之间的先后关系：两名教师和8名学生确定第一阶段提取的知识点之间的先后关系，然后使用多数投票策略确定这些提取的知识点之间的先决条件关系。
知识图谱以一组三元组形式表示KG={（kpi，kpj，r）| kpi，kpj∈KP，r∈R}
其中R={0，1}表示两个知识点之间的先决条件关系，当这两个知识点之间没有先决条件关系时，R等于0，如果kpi是kpj的先决条件，则R等于1。

3.2学生测试行为数据收集

iTest系统现在可以支持单选题、多项选择题和填空题。iTest系统捕获了学生在测试期间的以下四种测试行为。
学生表示为s，问题表示示为q，kp(q)用于表示问题q所对应的知识点。
（1）T(s,q)问答时间：是学生回答问题的累计时间。直观上，学生对知识点kp（q）的掌握程度与T(s,q)成反比。
（2）Rc(s,q)重看问题的次数：学生回到问题q的次数。直观上学生对知识点kp（q）的掌握程度与Rc（s，q）成反比。
（3）Tr(s,q)问答轨迹：学生针对问题q提出的一系列答案。直观上，回答问题的轨迹越长，他/她的知识点kp（q）对应的掌握程度越低。
（4）L(s,q)问题标记状态：学生对问题q的标记状态。直观上，如果问题q被学生s标记，则他/她对知识点KP（q）的掌握程度低于该问题未被学生标记的情况。
学生s对问题q的测试行为用B(s,q)表示，可以进一步表示为：

3.3 基于学生测试行为数据的知识图谱加权

iTest系统收集的某个学生的所有测试行为数据，用于确定该学生对每个知识点的掌握程度。计算出的对知识点的掌握程度可以应用于知识图中其对应节点的权重。
D(s,kp)定义：给定学生s和知识点kp，学生对知识点的掌握程度，用D(s,kp)表示，表示学生s正确回答与知识点kp相关的问题的概率。

将收集到的测试行为数据和所有学生在所有测试中的测试结果（即正确或错误）作为训练数据，并训练一棵决策树，以帮助我们根据学生在回答问题过程中的测试行为数据来判断学生是否能够正确回答问题。

为了使训练数据适用于决策树，将每个测试行为属性离散化为四个属性：

（1）T*(s,q)离散化问答时间：如果学生回答问题的时间少于所有学生的平均时间，则等于1，否则等于0。
（2）Rc*(s,q)离散化重新访问问题的计数：如果学生重访问题的次数小于所有学生的平均次数，则等于1，否则等于0。
（3）Tr*(s,q)离散化问答轨迹：当学生对问题q的回答轨迹仅包含正确答案时，等于1；当轨迹不包含正确答案时，等于2；如果包含多个正确答案，则等于3，而不管最终答案是对还是错。
（4）L*(s,q)离散化问题标记状态：如果学生标记问题q，则等于1，否则等于0。

离散化的测试行为四元组表示为：B*(s,q)=(T*(s,q),Rc*(s,q),Tr*(s,q),L*(s,q))，
决策树的输入训练数据可以表示为：I=(B*(s,q),o*)，
学生对问题的测试结果正确，o*=1，测试结果错误，o*=0
经过训练的决策树用于预测学生对问题q的最终测试结果（即正确或错误）

其中，分母表示与知识点kp对应的问题的基数，分子表示知识点kp对应的学生s根据决策树的预测结果对问题给出正确答案的问题的数量。


构建的知识图谱用于描述知识点之间的先决条件依赖关系和学生的学习状态。
节点表示每个知识点；
边表示知识点之间先后关系；
并根据学生对该知识点的掌握程度对节点进行加权；
学生有一个独有的加权知识图（WKG），使用学生的WKG为学生生成个性化练习。

4 基于加权知识图的个性化练习推荐

4.1推荐算法

根据伪代码的推荐思想，画了一个简单的算法流程图

4.2冷启动问题

当没有足够的学生测试行为数据时，我们的推荐系统将根据教师标记的知识点难度向学生推荐练习。

5 评估

在本节中，我们评估了个性化练习推荐算法（以WKG-R表示）的性能。WKG-R使用的加权知识图（WKG）是基于课程《数据库原理》的学生测试行为数据集导出的。该数据集包含600多个学生测试行为四元组，对应于11个学生和55个关于关系数据库规范化理论的测试问题。55个测试问题涉及11个提取的知识点：（kp1）函数依赖；（kp2）部分函数依赖；（kp3）传递函数依赖；（kp4）1NF（第一标准化形式）；（kp5）2NF；（kp6）3NF；（kp7）BCNF（巴斯范式/鲍依斯-科得范式）；（kp8）确定因子；（kp9）键；（kp10）主属性；（kp11）非主属性。图3示出了11个知识点之间的前提关系。图4显示了55个测试问题的问题知识点关系。例如，第一个问题对应于图4的知识点kp7。

图4每个测试问题与其对应的知识点之间的映射关系

采用精确性和差异性两个指标，用于评估WKG-R的推荐性能。

算法的精度：precision=N/Ntp，Ntp∈N，其中N表示推荐给学生的问题总数，Ntp表示学生认为有用的问题数。
（个人认为这里的精度算法有问题，应该是precision=Ntp/N）
WKG-R的平均精度（即0.58）是Random-R的两倍多（即0.26）

图5 WKG-R和RandomR的精度值。
多样性：通过任意两个学生的两个推荐问题集的差异，使用杰卡德距离，来计算算法的多样性。
杰卡德距离(Jaccard Distance) J是用来衡量两个集合差异性的一种指标
Jaccard相似指数用来度量两个集合之间的相似性，它被定义为两个集合交集的元素个数除以并集的元素个数。

WKG-R算法的多样性为0.66，WKG-R算法可以根据不同学生的学习情况为他们推荐不同的问题

6 展望

本文提出利用学生的测试行为数据和知识图中的前提关系，为学生提供个性化的练习推荐。基于课程《数据库原理》的实例评价表明，该推荐算法具有较好的推荐精度和多样性。未来的方向是开发一种自动构建教育领域知识图谱的方法，并使用更多类型的学生测试行为，以进一步提高我们推荐的有效性。

参考：
Xu J , et al. Utilizing knowledge graph and student testing behavior data for personalized exercise recommendation[C]// 2018:53-59.