项目实训（六）

项目实训（六）

本篇主要分析项目中所涉及的句向量生成以及互注意力机制。

句向量生成

我们使用的句向量生成主要包括两种方法，一种是基于词向量，通过加权平均得到句向量，另一种是使用bert模型生成句向量。
对于传统的句向量生成方式，更多的是采用word embedding的方式取加权平均，该方法有一个最大的弊端，那就是无法理解上下文的语义，同一个词在不同的语境意思可能不一样，但是却会被表示成同样的word embedding，BERT生成句向量的优点在于可理解句意，并且排除了词向量加权引起的误差。
项目中使用的bert-as-server生成句向量。

注意力模型（self-attention）

导入

注意力模型借鉴了人类的视觉注意力机制，视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。

Encoder-Decoder框架

目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想，本身并不依赖于特定框架。

Encoder-Decoder框架是深度学习领域常用的一种研究模型，下图是一种抽象表示。

文本处理领域的Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。对于句子对<Source,Target>，我们的目标是给定输入句子Source，期待通过Encoder-Decoder框架来生成目标句子Target。Source和Target可以是同一种语言，也可以是两种不同的语言。而Source和Target分别由各自的单词序列构成：
Encoder顾名思义就是对输入句子Source进行编码，将输入句子通过非线性变换转化为中间语义表示C：
Decoder的 任务是根据句子Source的中间语义表示C和之前已经生成的历史信息生成需要的输出信息

Attention模型

本质思想

将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数
对于具体的计算过程，可以大致抽象为以下两个过程：一是根据Q和K计算权重系数，而是根据权重系数对V进行加权求和。第一个过程又可以分为两个阶段，一是根据Q和K计算两者相似性，而是对第一阶段的求值进行归一化处理。该过程可以归纳为下图：

自注意

由上文可知，Attention机制发生在Target的元素Query和Source中的所有元素之间。而自注意（self-attention）顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制。具体计算过程发生了较小的变化。

互注意

在我们的项目中，使用到了互注意机制，思想来自attention机制，我们根据自己的需求进行改变。在普通注意力机制中，单向注意力矩阵中的每一行被简单地相加或者求均值作为最终的注意力权重向量。在主观题阅卷任务中，对于考生答案的第i句话，即使这句话的内容与参考答案完全不相干，在对匹配系数矩阵进行列归一化之后，i在参考答案中的每句话 上的匹配程度之和仍为 1。本文引入考生答案和参考答案的互注意力机制来解决这个问题。我们针对输入的标准答案文本和学生答案文本使用互注意力机制，由于我们已经将答案文本进行分句处理，所以我们将学生答案的每一个句子分别与标准答案每一个句子进行互注意计算，得到匹配系数矩阵。

参考

https://www.zhihu.com/question/68482809/answer/264632289 张俊林
《基于知识点的专业文本可解释评阅研究》 李东进