transformer的bert结构思维导图

最新推荐文章于 2024-09-03 23:11:47 发布

hufei_neo

最新推荐文章于 2024-09-03 23:11:47 发布

阅读量1.1k

点赞数 1

分类专栏：自然语言处理文章标签： BERT 结构 transformer 思维导图

本文链接：https://blog.csdn.net/hufei_neo/article/details/113742849

版权

本文聚焦于BERT模型，特别是BERTencoder部分，通过深入探讨transformer的实现，提供了详细的思维导图，帮助理解模型的工作原理。参考代码来自Hugging Face的transformers库。

摘要由CSDN通过智能技术生成

Bertmodel

## reference: transformers.modeling_bert.BertModel  
class BertModel(BertPreTrainedModel):
    def __init__(self, config):

        self.embeddings = BertEmbeddings(config)
        self.encoder = BertEncoder(config)
        self.pooler = BertPooler(config)
				...
    def forward(self, input_ids, attention_mask=None, token_type_ids=None,position_ids=None, head_mask=None):
				...
        ### 第一部分，对 attention_mask 进行操作,并对输入做embedding
        extended_attention_mask = attention_mask.unsqueeze(1).unsqueeze(2)
        extended_attention_mask = extended_attention_mask.to(dtype=next(self.parameters()).dtype) # fp16 compatibility
        extended_attention_mask = (1.0 - extended_attention_mask) * -10000.0
        embedding_output = self.embeddings(input_id