2024-3-6 Bert模型代码总结

        值得注意的是Bert和transformer之间的区别：transformer是一种新型的神经网络架构，而Bert只是这个encoder-decoder中的encoder，

        

from transformers import BertModel, BertTokenizer,BertConfig

1. 从transformers中调入bert

class MyModel(nn.Module):

2. 开始写模型类

    def __init__(self,bert_path, device, num_class):
        super(MyModel, self).__init__()
        self.device = device

        # #不加载大佬的模型文件，只用其参数
        # bert_config = BertConfig.from_pretrained(bert_path)
        # self.bert = BertModel(bert_config)


        self.bert = BertModel.from_pretrained(bert_path)   #根据所传的下载的文件，可以直接读出模型所需的各种参数，就可以创建模型
        self.tokenizer = BertTokenizer.from_pretrained(bert_path)

        self.cls_head = nn.Linear(768,num_class)  #我们的模型=大佬的Bert（encoder） + 微调分类头   我们做的是二分类

3. 模型初始化函数&