Datawhale出品：《GLM-4 大模型部署微调教程》非常详细收藏我这一篇就够了

最新推荐文章于 2024-08-13 17:26:06 发布

AGI大模型老王

最新推荐文章于 2024-08-13 17:26:06 发布

阅读量1.7k

点赞数 59

文章标签：学习大模型人工智能 AI大模型

本文链接：https://blog.csdn.net/2401_85390073/article/details/141091394

版权

前言

就在昨天，智谱 AI 发布了最新开源模型 GLM4,通过 10T 高质量多语言数据与更先进的训练技术,达到了更加出色的生成效果。

在仅有 9B 参数的前提下，在中文能力、长文本能力以及工具调用等任务中达到了更加出色的效果。

教程介绍

秉承开源贡献的宗旨，Datawhale团队成员在模型发布 12 小时 之内，为编写了GLM-4整套教学流程，包括：

模型 api 部署；
Langchain 接入；
WebDemo 部署；
vLLM 部署；
LoRA 高效指令微调。

教程除提供过程代码外，还贴心为学习者提供了训练数据与 Autodl 环境镜像，方便学习者一键运行！！

项目地址:

https://github.com/datawhalechina/self-llm/tree/master/GLM-4

目前项目已被智谱官方推荐学习：

这里我们抽取一部分内容供大家了解本次教程~

LoRA 高效指令微调

首先通过分析子词嵌入模板，从而构造指令微调数据。教程通过对模板编码前后进行可视化复查，并逐一检查特殊子词编号，从而确保嵌入对应。

进而通过对模型层级分析，判断高阶矩阵位置，从而使用 PEFT 工具对低秩转换层进行指定，开启 LoRA 微调。

最终查看微调效果:

User: 小姐，别的秀女都在求中选，唯有咱们小姐想被撂牌子，菩萨一定记得真真儿的——      Assistant: 菩萨也会看错眼的时候。

项目介绍

《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

除 GLM4 外，项目已支持 LLama3, InternLM, Qwen1.5 等 20 项开源模型全流程教程，并且，本项目代码全部开源！！一并配置示例训练数据,AutoDL 环境镜像等,方便学习者使用！

目前项目已经收获 4930 star~ 屡次登上 Github Trending 榜

如果喜欢的话也请给我们加一颗星，为开源助力(^▽)

文章最后

最后，由于贡献者团队时间仓促、精力有限，教程难免有些疏漏甚至错误，我们期望学习者在学习的同时，也能积极给我们建议，或者直接对项目进行贡献，让我们共同打磨教程，为后面的学习者提供更好的内容。
在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述