[算法前沿]--018-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜下＞

已于 2023-05-26 10:03:26 修改
阅读量1k 收藏
点赞数
分类专栏： AI前沿与LLM、chatGPT 文章标签： chatgpt
于 2023-05-26 10:00:17 首次发布
禁止转载
本文链接：https://blog.csdn.net/weixin_32393347/article/details/130880775
版权

文章目录

1.模型部署

首先载入Tokenizer：

from transformers import AutoConfig, AutoModel, AutoTokenizer

# 载入Tokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
小码蚁.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
chatglm使用lora进行模型微调训练
06-24
chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学
ChatGLM-6B-PT指定gpu微调
Hello_World1023的博客
04-25 2546
仍然报错无法通过ssh连接43090, 因为是自己远程连接了自己, 我灵机一动考虑用本地连接, 把两个文件的43090都改成localhost, 因为本地连接是可以ssh localhost连接的。但没有用, 虽然指定了只有一张卡微调, 但是默认还是在gpu:0上跑, 之前的设定CUDA_VISIBLE_DEVICES=1被重写了, 观察运行时提示信息可以看到。在4-3090对ChatGLM-6B-PT微调, 由于gpu:0, gpu:2, gpu:3都被占用, 导致微调显存不足。然后考虑查看本机主机名。
保姆级LLM训练教程：阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B
qq_50097745的博客
10-19 3764
网上的教程，都基本上可能他们自己都能调通，但是，很多细节都没有给出，如何从0到1去搭建多机多卡训练是个很大的难题。本教程是保姆级的教程，搭建数据多机多卡分布式训练，训练的策略是lora
ChatGLM3本地部署+Lora微调
Bowen_Ding_的博客
03-28 1589
ChatGLM3本地部署+Lora微调
大模型训练方式P-tuning和LoRA
qq_15821487的博客
05-20 1011
P-tuning：自动构建模版，释放语言模型潜能：https://zhuanlan.zhihu.com/p/364141928?utm_id=0LoRA：大语言模型参数高效性微调方法：https://zhuanlan.zhihu.com/p/620552131
对 ChatGLM-6B 做 LoRA Fine-tuning
phycoding的博客
03-31 1万+
ChatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做 Fine-tuning 就非常有价值了。
一文辨析清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法
人工智能前沿分享
11-21 2932
P-Tuning：使用一个可训练的LSTM模型（称为prompt_encoder）来动态生成虚拟标记嵌入，允许根据输入数据的不同生成不同的嵌入，提供了更高的灵活性和适应性，适合需要精细控制和理解复杂上下文的任务，相对复杂，因为它涉及一个额外的LSTM模型来生成虚拟标记嵌入。感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;
训练自己业务的行业垂类大模型-生成式模型：从0到1复现ChatGLM的p-tuning和lora 微调
samoyan的博客,记录技术成长~
06-15 2249
ChatGLM-6B：我是一台人工智能助手，可以回答各种各样的问题，例如学术、语言、文化等方面的问题，提供有关历史、地理、科学、技术、社会和文化等各个领域的信息和知识，帮助用户解决问题和获取信息。我的功能是基于预先训练的大规模语言模型，通过对输入文本的响应来回答问题或完成任务。如果输出的是 Anaconda 中安装的 Python 的路径（例如：/home/user/anaconda/bin/python），则说明 Anaconda 环境已经成功激活了。ChatGLM-6B：你好👋！
基于ChatGLM-6B、ChatGLM2模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
08-21
基于ChatGLM-6B、ChatGLM2-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，...
算法训练-使用JAX训练CLIP算法-支持fine-tuning-优质项目实战.zip
最新发布
04-08
算法训练_使用JAX训练CLIP算法_支持fine-tuning_优质项目实战
基于LoRA和 P-Tuning v2 的ChatGLM-6B高效参数微调python源码.zip
08-01
基于LoRA和 P-Tuning v2 的ChatGLM-6B高效参数微调python源码.zip ChatGLM-6B 是一个清华开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。经过约 1T 标识符的中英...
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning：深度解读一种全新的微调范式， LLM、 AIGC、基于LLM构建领域应用
openai/chatgpt微调/fine-tuning/测试用/投喂资源
03-06
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。 微调完毕后可以 -p 回答结果。 其中包含三四百条数据。 适合测试openai自定义模型的人群使用。
ChatGLM-6B的P-Tuning微调详细步骤及结果验证
热门推荐
scorpio的博客
04-26 1万+
ChatGLM-6B的P-Tuning微调详细步骤及结果验证
ChatGLM系列五：Lora微调
永胜的博客
10-27 1922
目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法LoRA: 在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数,冻结其他参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。
p-tuing和Lora的区别
人工智能曾小健
06-16 2151
自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调效果不好，后续引入了p tuning v2的方法来少资源微调。
（三）ChatGLM-6B 的 DeepSpeed/P-Tuning v2微调
西风瘦马
04-20 3632
OK, 到这里发现以前的方法是可以继续使用的，只能说是暂时环境跟不上，单机跑不了，或者要研究一下他的参数了，后续找到更大的机器看看deepspeed并行调参效果。这个好像是ninja版本问题，查看版本命令不是这个，试过升级和降级都没用，所以只能手动干源码了。等待模型文件下载完毕后，下载其他的配置文件，把大的模型文件移动进去。如果看到这里你知道怎么搞，或者我说错了的，欢迎留言一起探讨下。相对上一篇文章（04-09），官方更新了文件，也增加了。,准重新下载模型文件（国外，速度慢没办法）venv环境准备开始。
修改 ChatGLM2-6B 自我认知的 Lora 微调教程
engchina的专栏
07-01 7662
修改 ChatGLM2-6B 自我认知的 Lora 微调教程
单卡3090可得专属ChatGPT：使用LoRA+ChatGLM
qq_69491484的博客
04-14 1842
针对ChatGLM模型，因为其本身预训练的语料就包含了大量中文，已经能生成相当符合人类偏好的回答，因此对其进行进一步的通用中文指令精调意义不大， （这里给出我使用五万BELLE项目产生的中文指令数据集及在此基础上训练七个epoch后得到的LoRA权重，各位可自行对比与原ChatGLM的区别） 后续会直接尝试基于LoRA、P-tuning v2等参数有效性方法针对垂直领域进行训练。
chatglm2-6b微调lora
08-24
<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [修改 ChatGLM2-6B 自我认知的 Lora 微调教程]...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码蚁.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值