数据的分句向量化

数据的分句向量化

本节将进行数据读入和向量化，首先，使用read_cas读入考生答案文本（介于保密，此处不展示），然后使用bert和分词方法使句子向量化。最后通过互注意力机制实现考生答案的标准答案表达。

通过Bert产生的句子是768维的一个向量，我们使用互注意力机制，实现考生答案的标准答案表达。

引入注意力使得模型可以同时参考标准答案和考生答案，我们的互注意力就是让每一个考生的答案可以用标准答案的向量进行表示，当然，此处采用的是线性组合的方式。

当得到了注意力向量过程中，值得注意的一点是，需要进行行归一化和列归一化。出于对数据更加合理同时利于下游任务的处理，我们采用了极值归一化方法。如下：