chatglm-6B基础环境、模型下载、微调训练详细介绍

最新推荐文章于 2024-04-13 11:25:17 发布
最新推荐文章于 2024-04-13 11:25:17 发布
阅读量1.6k 收藏 2
点赞数
文章标签： 深度学习 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dream_home8407/article/details/130801009
版权

chatgml-6B

1.GLM预训练介绍

GLM(通用语言模型），基于自回归空白填充假设输入语段是是x1-x6,随机mask掉一部分,模型开始预测被mask的语段是什么，同时随机打乱mask的位置。
在这里插入图片描述
在这里插入图片描述
链接: GLM Paper
链接: GLM-130B Paper
链接: ChatGLM-6B

2.基础环境及镜像镜像下载方式

在这里插入图片描述
链接: HuggingFace Repo
链接: Get Started

3.模型文件下载

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
链接: Torch Version
在这里插入图片描述

3.1推理

在这里插入图片描述
在这里插入图片描述

4. Fingtuing

P-Tuning (1 RTX2080 ti *11G)
LoRA (1 RTX2080 ti *11G)
Full Parameter

4.1数据准备

在这里插入图片描述
样例数据下载链接
链接: Dataset

5.有监督训练量化训练

在这里插入图片描述

5.1更改全部参数训练方式

在这里插入图片描述

5.2 LoRA训练方式

链接: LoRA详细介绍

链接: lchatglm-lora_hub

在这里插入图片描述

dream_home8407
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
chatglm2-6b-32k模型
08-03
这是一个基于GLM2-6B-32k模型的语言模型，具有32K个参数。GLM2-6B-32k是一种用于自然语言处理任务的预训练语言模型，其中GLM表示General Language Modeling，2表示该模型的层数，6B表示该模型中BERT模型的层数，32K表示该模型的参数总数。该模型可以用于自然语言处理任务，如文本分类、命名实体识别、情感分析等。
ChatGLM2-6B（windows本地微调实践）
09-15
详细调试内容见文件内ReadMe文档 1、Chat GLM2模型下载 2、ChatGLM-Efficient-Tuning（Chat GLM版本1微调）框架 3、修改数据集 4、进行模型微调训练 5、进行模型微调测试 6、进行模型输出 7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的，先搭pytorch的GPU版，再添加相关模块，本地部署教程多自行部署
ChatGML-6B大模型Windows部署（可CPU运行 保姆级教程）
2401_84080967的博客
04-13 1518
ChatGML-6B 是一个大型语言模型,被训练来预测人类语言。它是基于 GPT 模型的一种改进版本，拥有 6.3 亿个参数，是当前最大规模的中文语言模型之一。ChatGML-6B 模型由清华大学 KEG 实验室和智谱AI共同训练,拥有强大的语言理解和生成能力。
【Linux】【chatGLM-6B】如何从huggingface上下载chatGLM-6B模型于centos系统
weixin_49340599的博客
04-24 2697
huggingface、chatGLM、部署
chatglm-6B模型下载
bitcarmanlee的博客
11-20 962
从huggingface上面下载chatglm-6B模型是比较简捷的方式，下面记录一下下载安装过程。
huggingface_hub优雅下载ChatGLM-6B模型
Hello_World1023的博客
04-25 4389
在./ChatGLM-6B/下创建文件夹./ChatGLM-6B/chatglm-6b/用于存放本地模型。调用huggingface_hub下载ChatGLM-6B模型到指定本地路径。进入chatglm-6b环境, 进入python终端。安装huggingface_hub。查看下载模型的文件目录。
第五篇-ChatGLM2-6B|ChatGLM3-6B模型下载
木卫二号的专栏
07-29 7995
下载chatglm2-6b|chatglm3-6b模型文件 方法一：huggingface页面直接点击下载 方法二：snapshot_download下载文件 创建下载环境 编写代码 执行下 方法三：清华云盘 方法四：异型岛社区版
ChatGLM-6B下载安装
yusude123456的博客
11-21 422
如果是docker中的虚拟机可以把上述的sudo去掉。通过官网指引需要先下载git-lfs。想把模型下载本地微调。
chatglm2-6b和chatglm3-6b模型下载
m0_71240768的博客
11-22 874
chatglm3-6b和chatglm3-6b下载地址
清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程
SupermarketX的博客
07-05 9774
ChatGLM2-6B在anaconda中虚拟环境下的本地部署
ChatGLM2-6b本地部署
weixin_42529756的博客
07-09 1827
window系统本地部署的chatgpt,显存6G以上。本地中文chatgpt
ChatGLM-6B的库
07-19
ChatGLM-6B的库
大模型微调-使用PEFT微调ChatGLM-6B大语言模型-附流程教程+项目源码-优质项目实战.zip
05-16
大模型微调_使用PEFT微调ChatGLM-6B大语言模型_附流程教程+项目源码_优质项目实战
基于ChatGLM-6B、ChatGLM2模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
08-21
基于ChatGLM-6B、ChatGLM2-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，...
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，全参微调
02-07
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip
AdvertiseGen数据集微调ChatGLM-6B模型
最新发布
05-27
模型文件下载地址： 链接：https://pan.baidu.com/s/1psuIqGSPsAgs4mPnIwGPkw 提取码：a4s6
清华大模型Chatglm2-6B基于P-Tuning的微调方法和微调模型使用方式（非常仔细，值得借鉴且使用自己的数据集微调未发生灾难性遗忘，效果很好）
nfkjdx的博客
01-22 4577
chatglm2-6b的模型下载地址：这里面很多模型，选择自己需要的下载就可以了1 、安装所需要的库等环境，如下图所示的两个地方的依赖2 、下载官方所示的微调数据集（你也可以自己按照训练数据的输入格式，创建数据集）【json的数据集】3 、因为微调训练的文件为sh格式，因此需要Linux环境的操作命令。这里有两种方法解决在window环境下运行sh文件：方法一：安装git bash；方法二：将sh文件转化为bat文件格式，再运行训练。4 、对train . sh文件内的配置进行调整修改，再训练。
成功实操记录ChatGLM6b大模型
wade1010的专栏
06-29 429
{ "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。P-Tuning是一种较新的模型微调方法，它采用了参数剪枝的技术，可以将微调的参数量减少到原来的0.1%。具体来说，P-Tuning v2是基于P-Tuning v1的升级版，主要的改进在于采用了更加高效的剪枝方法，可以进一步减少模型微调的参数量。
顺畅下载chatglm2-6b的模型文件
weixin_38100489的博客
07-14 1661
用推荐的清华源的url下，也卡，但url转换之后的，在windows下不了。不管是从huggingface下，git下，wget下，都可能卡。但是在linux上就几十兆每秒。
chatglm-6b 微调训练
03-22
ChatGPT是一个由OpenAI开发的基于大规模预训练的语言模型，它可以用于生成自然语言文本的任务。ChatGPT-6B是指使用了6亿个参数进行训练的ChatGPT模型。 微调训练是指在预训练模型的基础上，使用特定的数据集对模型进行进一步训练，以适应特定的任务或应用场景。对于ChatGPT-6B，微调训练可以通过提供大量的对话数据来改进其对话生成能力。 在微调训练中，可以使用人工标注的对话数据或者从互联网上收集的对话数据。通过将这些数据输入到ChatGPT-6B模型中，并根据生成结果进行评估和调整，可以使模型更好地理解和生成对话内容。 微调训练可以提高ChatGPT-6B在对话生成任务上的性能，使其更加适应特定的对话场景和用户需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值