深度知识追踪入门

背景介绍

知识追踪（Knowledge Tracing）是根据学生过去的答题情况对学生的知识掌握情况进行建模，从而得到学生当前知识状态表示的一种技术，早期的知识追踪模型都是依赖于一阶马尔科夫模型，例如贝叶斯知识追踪（Bayesian Knowledge Tracing）。将深度学习的方法引入知识追踪最早出现于发表在NeurIPS 2015上的一篇论文《Deep Knowledge Tracing》，作者来自斯坦福大学。在这篇论文中，作者提出了使用深度知识追踪（Deep Knowledge Tracing）的概念，利用RNN对学生的学习情况进行建模，之后引出了一系列工作，2019年已经有使用Transformer代替RNN和LSTM并且达到了SOTA的论文。

由于深度学习并不需要人类教会模型不同题目的难易、考核内容等特定的知识，避免了大量的手工标注特征工作量，而且在互联网在线教育行业兴起后，拥有了海量的学生答题记录，这些答题记录就能教会模型将题库中成千上万条题目encode为一个向量，并且能类似于word2vec那样找出题目之间的关联。因此之后各种AI+教育、个性化、智能化教育的概念也火了起来。不过截止目前深度知识追踪仍然只是一个小领域，业界应该是做了不少工作的，但因为每个公司教育数据的私密性，不同公司数据的多样性，导致了数据集不公开，方法也大多不通用的情况，因此我们并不太能了解到那些在线教育巨头背后的AI技术，至于学界，论文大多发表在教育数据挖掘国际会议上（Educational Data Mining）。本文简单介绍深度知识追踪，给有兴趣入门的同学的作参考。

任务定义

知识追踪的任务是根据学生的答题记录，通常是一个时间序列，有些业务场景下是与时间无关的，建模得到学生的知识掌握状态，从而能准确预测其未来的答题情况，并依据此为未来的智能化出题做参考，避免给学生出太难或太简单的题目。具体上，假设一个学生的答题记录为$x_0,x_1,...,x_t$，我们要去预测下一个交互的情况$x_{t+1}$，通常一次交互$x_t=(q_t,a_t)$，$q_t$代表该学生回答题目$a_t$的正误情况。简单的来说就是知道了学生答了一系列题目，也都知道他都回答对了没，现在我要从题库里再抽一题给他，让模型预测预测他能不能答对，答对的概率是多少，那么如果模型给出的概率是1，代表这题对他来说是太简单了，如果给出的概率为0，就代表这题可能太难了，他八成是做不出来的。

模型

上面说了，Deep Knowledge Tracing这篇论文是用了RNN来把答题记录当做平常的