NLP系列-牛刀小试Attention

目录

前言

一、Attention是什么？

二、使用步骤

1.Decode端特征与Encode端特征进行点乘

2.Softmax函数，计算得分

3.求和计算，输出结果

总结

---

---

前言

目前，注意力机制（Attention）可以说已经成为了nlp任务中必不可缺的要素之一。其基本思想是通过对输入数据中不同部分的重要性进行加权，使模型能够关注到与当前任务相关的信息。在序列建模和自然语言处理任务中，注意力机制已经成为了一种基本的技术手段。

---

一、Attention是什么？

Attention是一个向量，通过attention可以计算decode端隐含层的特征与encode端隐含层特征的注意力权重大小，通常以softmax函数进行输出一组向量。举个例子，在机器翻译中，注意力机制的作用是能够计算出 编码端 h1,h2,h3,h4 之间的关联程度，然后传入到解码中 ，防止seq-to-seq 结构因句子过长导致内容遗忘，造成内部混乱的后果。

二、使用步骤

1.Decode端特征与Encode端特征进行点乘

举例：假设解码端的向量为dec_hidden_state,编码端的向量为enc_hidden。下面是一个点乘的代码，可以计算出它们之间的权重大小。

dec_hidden_state = [5,1,20]

enc_hidden = np.transpose([[3,12,45], [59,2,5], [1,43,5], [4,3,45.3]])#隐含层输出的特征向量

def dot_attention_score(dec_hidden_state, enc_hidden):
    # TODO: return the product of dec_hidden_state transpose and enc_hidden_states
    return np.matmul(np.transpose(dec_hidden_state), enc_hidden)
    
attention_weights_raw = dot_attention_score(dec_hidden_state, enc_hidden)
attention_weights_raw#返回权重

 

2.Softmax函数，计算得分

代码如下（示例）：

def softmax(x):
    x = np.array(x, dtype=np.float128)
    e_x = np.exp(x)
    return e_x / e_x.sum(axis=0) 

attention_weights = softmax(attention_weights_raw)
attention_weights

def apply_attention_scores(attention_weights, annotations):
    # TODO: Multiple the annotations by their weights
    return attention_weights * annotations

applied_attention = apply_attention_scores(attention_weights, annotations)
applied_attention#得出它们之间的得分（解码端分别与编码端隐含层之间的得分大小）

 

 

 

3.求和计算，输出结果

求出了与输出特征所有相关的得分之后，最后一步就是进行求和计算了。也就是我们所说的加权求和计算。

def calculate_attention_vector(applied_attention):
    return np.sum(applied_attention, axis=1)

attention_vector = calculate_attention_vector(applied_attention)
attention_vector

 

总结

在机器翻译、语音识别和文本分类等任务中，注意力机制已经被广泛应用，取得了很好的效果。另外，注意力机制可以使模型在不增加参数量的情况下提高性能。例如，在图像描述任务中，可以使用注意力机制来选择与当前要描述的部分相关的图像区域，从而提高描述的准确性。最后，注意力机制可以提高模型的可解释性。通过观察注意力分布，可以了解模型对不同部分的关注程度，从而更好地理解模型的行为。

总之，注意力机制是一种非常有用的技术，在深度学习中已经得到广泛的应用。通过注意力机制，模型可以自动地选择与当前任务相关的信息，从而更好地理解输入数据，并提高模型性能和可解释性