Transformers 加载预训练模型 | 七

最新推荐文章于 2024-07-19 17:57:37 发布

磐创 AI

最新推荐文章于 2024-07-19 17:57:37 发布

阅读量9.2k

点赞数

本文链接：https://blog.csdn.net/fendouaini/article/details/105254397

版权

本文介绍了如何加载Google AI、OpenAI的预训练模型或PyTorch转储的模型，包括不同模型的快捷名称、参数量和适用场景。通过tokenizer和模型类实例化，可以实现权重的加载和缓存，便于后续使用。

摘要由CSDN通过智能技术生成

作者|huggingface 编译|VK 来源|Github

加载Google AI或OpenAI预训练权重或PyTorch转储

要加载Google AI、OpenAI的预训练模型或PyTorch保存的模型(用torch.save()保存的BertForPreTraining实例)，PyTorch模型类和tokenizer可以被from_pretrained()实例化：

model = BERT_CLASS.from_pretrained(PRE_TRAINED_MODEL_NAME_OR_PATH, cache_dir=None, from_tf=False, state_dict=None, *input, **kwargs)

其中

BERT_CLASS要么是用于加载词汇表的tokenizer(BertTokenizer或OpenAIGPTTokenizer类)，要么是加载八个BERT或三个OpenAI GPT PyTorch模型类之一(用于加载预训练权重)：BertModel ，BertForMaskedLM，BertForNextSentencePrediction，BertForPreTraining，BertForSequenceClassification，BertForTokenClassification，BertForMultipleChoice ，BertForQuestionAnswering，OpenAIGPTModel，OpenAIGPTLMHeadModel或OpenAIGPTDoubleHeadsModel
PRE_TRAINED_MODEL_NAME_OR_PATH为：
- Google AI或OpenAI的预定义的快捷名称列表，其中的模型都是已经训练好的模型：
  - bert-base-uncased：12个层，768个隐藏节点，12个heads，110M参数量。
  - bert-large-uncased：24个层，1024个隐藏节点，16个heads，340M参数量。
  - bert-base-cased：12个层，768个隐藏节点，12个heads，110M参数量。