【bert】:在训练bert 语义相似的任务时，last ave state 的计算

最新推荐文章于 2024-06-06 14:03:20 发布

Jack_Kuo

最新推荐文章于 2024-06-06 14:03:20 发布

阅读量461

点赞数

分类专栏： pytorch bert torch 文章标签： bert 深度学习自然语言处理

本文链接：https://blog.csdn.net/weixin_37251044/article/details/125168498

版权

torch 同时被 3 个专栏收录

4 篇文章

订阅专栏

pytorch

3 篇文章

订阅专栏

bert

2 篇文章

订阅专栏

该博客讨论了在BERT模型中计算句向量时的一个常见问题。当输入文本长度小于预设的seqlen时，平均语义向量的计算可能会不准确。文中提出了解决方案，通过引入注意力掩码来确保只对实际存在的 tokens 进行平均，从而提高句向量的计算精度。这种方法尤其适用于处理变长输入的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题

在bert模型训练以及预测的时候，我们会使用到最后一层隐藏层的平均语义向量作为句向量，发现部分的计算方式如下：

 if self.pooling == 'last-avg':
     last = out.last_hidden_state.transpose(1, 2)  # [batch, 768, seqlen]                                               
     return torch.avg_pool1d(last, kernel_size=last.shape[-1]).squeeze(-1)  # [batch, 768]

但是这里有一个问题，我们一般输入的文本是小于或者等于seqlen的，如果等于的话，这样计算没有问题。但是如果是小于的话，这里平均到的应该是按照具体整个batch中的每行的长度来计算的，所以这里的计算方式不是最准确的。

解决

if self.pooling == 'last-avg':
	token_embeddings = out.last_hidden_state
    attention_mask = torch.unsqueeze(attention_mask, dim=-1)
    token_embeddings = token_embeddings * attention_mask
    seqlen = torch.sum(attention_mask, dim=1)
    embeddings = torch.sum(token_embeddings, dim=1) / seqlen
    return embeddings