AI大模型 | 关于transformers模型的保存与加载

两种情况， 自定义模型训练后保存， transformers预训练模型保存。

参考代码

\# -\*- coding: utf-8 -\*-
import torch
from transformers import GPT2LMHeadModel
from transformers import AutoTokenizer
from transformers import TextGenerationPipeline

model = GPT2LMHeadModel.from\_pretrained("SkyWork/SkyTextTiny")
# torch.save(model.state\_dict(), 'model.bin')
model.save\_pretrained("GPTMODEL")
tokenizer = AutoTokenizer.from\_pretrained("SkyWork/SkyTextTiny", trust\_remote\_code=True)
tokenizer.save\_pretrained('tokenizer\_directory')
text\_generator = TextGenerationPipeline(model, tokenizer, device=0)
input\_str = "今天是个好天气"
max\_new\_tokens = 20
print(text\_generator(input\_str, max\_new\_tokens=max\_new\_tokens, do\_sample=True))

torch架构把模型分为两部分，身体和大脑， 身体即模型的结构，大脑即权重。

模型结构可能存在config.json中， 权重存在pth文件或bin文件。

1、模型训练后保存及加载

1.1保存

1)保存结构

------- 待解决存在问题 Object of type GPT2Config is not JSON serializable

 1 # -\*- coding: utf-8 -\*-
 2 import torch 3 from transformers import GPT2LMHeadModel 4 from transformers import AutoTokenizer 5 from transformers import TextGenerationPipeline 6 
 7 def save\_struc(model): 8     import json 9     with open('config.json', 'w') as f:
10 json.dump(model.config, f)
11     torch.save(model.state\_dict(), 'model.bin')
12 
13 model = GPT2LMHeadModel.from\_pretrained('GPTMODEL')
14 
15 # 保存模型结构
16 save\_struc(model)

View Code

2）保存权重

model = GPT2LMHeadModel.from\_pretrained("SkyWork/SkyTextTiny")
torch.save(model.state\_dict(), 'model.bin')

其中

model.state\_dict()

把模型得参数权重导出到字典。

1.2 加载

model.load\_state\_dict(torch.load('model.bin'))

先load 成为字典，再load_state_dict 加载入模型，注意这个model已经是 实例化后的即已经有了结构得model。所以只要读入权重即可。

2、预训练模型保存及加载

2.1

保存直接config.json和权重bin都保存再一个目录

model = GPT2LMHeadModel.from\_pretrained("SkyWork/SkyTextTiny")
model.save\_pretrained("GPTMODEL")

目录为

2.2 加载

model = GPT2LMHeadModel.from\_pretrained('GPTMODEL')

---

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！

一、大模型全套的学习路线

L1级别：AI大模型时代的华丽登场
L2级别：AI大模型API应用开发工程
L3级别：大模型应用架构进阶实践
L4级别：大模型微调与私有化部署

达到L4级别也就意味着你具备了在大多数技术岗位上胜任的能力，想要达到顶尖水平，可能还需要更多的专业技能和实战经验。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF书籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人在大模型时代，需要不断提升自己的技术和认知水平，同时还需要具备责任感和伦理意识，为人工智能的健康发展贡献力量。

有需要全套的AI大模型学习资源的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如有侵权，请联系删除。