互注意力机制的过程和实现一

本文将介绍互注意力机制的具体实现过程和代码展示

在有参考答案的主观题评阅任务中，最终的评分并非仅根据考生答案文本自身的特征，而是需要考虑考生答案和参考答案的匹配程度。专家评阅过中，专家根据考生答案对参考答案中每个知识点的匹配情况进行打分，这就要模型具备捕获考生答案和参考答案中对应知识点的文本并进行匹配的能力。经网络中注意力机制的引入使得模型具有捕捉数据之间的关注重点的能力，文通过注意力机制来计算考生答案和参考答案知识点之间的匹配程度。不同相关工作中所使用的普通注意力机制，为了有效地区分出考生答案中与知识点无关的无效语句，本文采用互注意力机制进行考生答案和参考答案之间知识点匹配计算。考生答案和参考答案的互注意力机制分为两部分。

第一部分是考生答案对参考答案的单向注意力。对于参考答案A的第i个句子的特征向量ai，和考生答案X的第j个句子的特征向量xj，计算二者的匹配系数M(i, j)。

对匹配系数矩阵M进行列归一化，得到考生答案对参考答案的单向注意力矩阵a。对于考生答案的第p句话xp，a§表示xp对参考答案中每一句话的匹程度。