【Transformer】intra-attention mask

最新推荐文章于 2024-07-28 15:46:11 发布

媛苏苏

最新推荐文章于 2024-07-28 15:46:11 发布

阅读量92

点赞数 1

分类专栏： Transformer 文章标签： transformer python pytorch

本文链接：https://blog.csdn.net/weixin_45780075/article/details/139321196

版权

Transformer 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

# step5:构造:intra-attention的mask
# Q @ k^T shape:[batch_size,tgt_seq_len,src_seq_len]
valid_encoder_pos = torch.unsqueeze(torch.cat([torch.unsqueeze(F.pad(torch.ones(L), (0, max(src_len) - L)), 0) \
                                               for L in src_len]), 2)  # 源序列的有效位置

valid_decoder_pos = torch.unsqueeze(torch.cat([torch.unsqueeze(F.pad(torch.ones(L), (0, max(tgt_len) - L)), 0) \
                                               for L in src_len]), 2)  # 目标序列的有效位置

# 目标序列对于源序列的有效性的关系：目标序列第一个样本的第一个词与原序列的第一个句子
valid_cross_pos_matrix = torch.bmm(valid_decoder_pos, valid_encoder_pos.transpose(1, 2))#Q和K转置矩阵相乘
invalid_cross_pos_matrix = 1 - valid_cross_pos_matrix

mask_cross_attention = invalid_cross_pos_matrix.to(torch.bool)

score = torch.randn(batch_size, max(src_len), max(src_len))
masked_score = score.masked_fill(mask_cross_attention, -1e9)
prob2 = F.softmax(masked_score, -1)

print(mask_cross_attention)
print(prob2)