python attention机制_如何在nlp中加入attention机制？

你好，通过阅读代码是最能搞懂知识点的方法，这里我给出pytorch版本中dot_attention的简单实现。

def dot_attention(self, seq, cond, lens):

"""

Arguments

:param seq: (b_s, m_s, h_s)

:param cond: (b_s, h_s)

:param lens: [len_1, len_2] the real len of the seq for mask the eos.

:return: contexts, scores

"""

scores = cond.unsqueeze(1).expand_as(seq).mul(seq).sum(2)

# seq = self.dropout(seq)

max_len = max(lens)

for i, l in enumerate(lens):

if l < max_len:

scores.data[i, l:] = -np.inf

scores = F.softmax(scores, dim=1)

context = scores.unsqueeze(2).expand_as(seq).mul(seq).sum(1)

return context, scores # context (b_s, h_s) scores (b_s, m_s)

返回的context是做完attention的context vector，scores是attention分值，其中输入lens是为了解除padding的影响。