如何加载Transformer的预训练模型
这里以GPT2模型的加载为例,其他常用的模型如BERT、RoBERTa等类似。导入模型:from transformers import GPT2Tokenizer, GPT2LMHeadModel加载模型参数时,这里给出一下几种情况的加载方法:1、使用 transformers 默认的缓存路径:gpt2_model = GPT2LMHeadModel.from_pretrained(pretrained_model_name_or_path='gpt2-xl')gpt2_toke
原创
2021-12-19 23:24:45 ·
3542 阅读 ·
0 评论