《从GLM-130B到ChatGLM：大模型预训练与微调》笔记

已于 2023-06-06 21:36:53 修改
阅读量672 收藏 5
点赞数 3
分类专栏： 自然语言处理 文章标签： 语言模型 自然语言处理 人工智能
于 2023-06-05 22:13:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yzy__zju/article/details/131056143
版权

 第一部分

 100B参数的大模型开始出现智能涌现

 

 在code数据集上训练，增强大模型的逻辑推理能力

 

 

 

 第二部分

 

 

 

 GLM和LLaMA中采用RoPE旋转式编码 

 

 

 BF16牺牲了数据精度（表示由10位降到7位），但扩大了数据的表示范围（有研究表明数据表示范围比精度更重要）

LLaMA采用BF16训练的

 大部分内存占用为激活函数

 有个参数服务器，模型参数在参数服务器上进行更新，然后所有节点pull模型参数

 

 

 

 

 

 

 

 

 

 

 

 alpha取0.1，手动降低embedding层的梯度

 

 

 第三部分

 

 

 

 

 

 

 

 

佛系调参
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Chatglm-130b本地部署教程
lh1234567lh的博客
09-19 2770
记录chatglm-130b的部署过程本地服务器环境：A40 (48G) *4 Ubuntu 20.04.3 LTS。
ChatGLM2-6B（windows本地微调实践）
09-15
详细调试内容见文件内ReadMe文档 1、Chat GLM2模型下载 2、ChatGLM-Efficient-Tuning（Chat GLM版本1微调）框架 3、修改数据集 4、进行模型微调训练 5、进行模型微调测试 6、进行模型输出 7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的，先搭pytorch的GPU版，再添加相关模块，本地部署教程多自行部署
从GLM-130B到ChatGLM：大模型预训练与微调
liguandong
06-05 2881
【原生GPT-4接口】直接使用，不限次数。，【官方教程】ChatGLM-6B 微调：P-Tuning，LoRA，Full parameter，从入门到精通：掌握 ChatGLM6B 模型的流式接口用法，Falcon40B荣登开源AI大模型排行榜首位，【官方教程】VisualGLM技术讲解，清华发布VisualGLM-6B多模态模型 ChatGLM-6B升级版，【官方教程】XrayGLM微调实践，演示ChatGLM-6B加载本地知识库精确回答财税问题。130B，8台80G，24台40G。
para-glm-curso:用于广义线性模型课程
04-18
对于glm课程 用于广义线性模型课程
LM-GLM-GLMM-intro：基于GLMGLMM的R中数据分析的统一框架
02-06
LM-GLM-GLMM-intro：基于GLMGLMM的R中数据分析的统一框架
【chatGLM论文笔记】GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling
技术宅学长的博客
10-31 796
CHATGML 。通过改变空格的数量和长度，可以对不同类型的任务进行GLM的预训练。在NLU、条件生成和无条件生成的广泛任务中，在相同模型大小和数据的情况下，GLM优于BERT、T5和GPT，并在单个BERTLarge参数为1.25倍的预训练模型上取得了最佳性能，证明了其对不同下游任务的泛化能力1。2 .T5 (Raffel等人，2020年)通过编码器-解码器模型统一了NLU和条件生成，但需要更多参数来匹配基于BRET的模型的性能，如RoBERTa(刘等人，2019年)和DeBERTa(何等人，2021年)
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
Together_CZ的博客
06-14 2428
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
教你10分钟部署chatglm130B大模型，无痛上手
xinwenh的博客
10-07 1172
chatglm大模型私有化部署
LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 2897
​ LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 目录 相关文章 《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 ABSTRACT摘要 1、INTRODUCTION引言 2、THE DESIGN CHOICES OF GLM-130B的设计选择 3、THE TRAINING STABILITY OF
chatglm 130B：两个主要的稳定训练方法
古月哲亭
07-13 264
解决方案：Qk转置的时候先用单精度来算，softmax的时候再转成FP16。第二个：embeddding 层梯度存在。
chatglm使用lora进行模型微调训练
06-24
chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学
【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
11-01
【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
ChatGPT 使用 拓展资料: 从GLM 到ChatGLM：大模型预训练与微调
段智华的博客
06-04 628
ChatGPT技术和OpenAI API的基础应用和进阶应用：学习了ChatGPT技术和OpenAI API的基础和进阶应用，如大模型概述、API接口概述、向量检索、文本生成、嵌入式向量检索实现问答系统、使用LangChain等，可以在不同的场景中灵活应用ChatGPT技术和OpenAI API解决问题。2， 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。
从GLM-130B到ChatGLM，清华ChatGLM一作曾博士报告ppt
AIMasterStar的博客
06-06 1182
自8月起，GLM团队进一步向模型注入了文本和代码预训练，通过有监督微调等技术实现人类意图对齐，于23年2月开始内测 ChatGLM千亿对话模型，于3月开源ChatGLM-6B模型。报告将分享 GLM团队在千亿训练和ChatGLM研发过程的一点思考和尝试。曾奥涵： 清华大学知识工程实验室一年级博士生，为开源双语预训练模型 GLM-130B 模型和 ChatGLM 系统的主要开发者之一，研究方向为自然语言处理与大规模预训练模型，指导老师为唐杰教授。
chatglm——从部署到训练全流程&&你遇到的错误都在这里。
04-17 7753
chatglm成功部署在阿里云PAI平台
Chatglm系列：GLM GLM130B chatglmv1 chatglmv2
fjfdg666的博客
07-16 633
2. 预训练方式1：自编码使用blank infilling的方式训练，即提取spans，并替换成mask，使用自回归的方式预测mask，spans的双向可见性取决于spans的随机排列顺序。其通过mask spans来自回归的预测被mask的span，非span区域是互见的，span之间的可见性取决于span的随机排列顺序。5. 训练集的95%使用blank filling任务训练，分别占30%、70%，训练集的另外5%来自于各个NLP任务指令数据集，通过转化成prompt的方式构建。
GLM 130B和chatGLM2-6B模型结构
dream_home8407的博客
07-11 1873
可以自由设置单词mask,句子smask,文章gmask,可以根据任务的不同设置mask，文本理解设置单词级别mask，文本生成色湖之句子级别的gmask，glm130B中设置的师70%句子级别gmask，30%词级别mask，3，RoPE旋转式编码，绝对编码实现相对编码，主要就是对每个位置token中的q, k向量乘以矩阵，然后用更新的q,k向量做attention中的内积就会引入相对位置信息了。整个流程，相当于forward 参数的计算都是fp16,，更新梯度使用fp32，有更长的表示范围，
【chatglm3】（3）：在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！附视频演示。
freewebsys的专栏
11-13 3493
载处理好的 AdvertiseGen 数据集，将解压后的 AdvertiseGen 目录放到本目录下。对于输入输出格式的微调，可使用 inference.py 进行基本的推理验证。AdvertiseGen以商品网页的标签与文案的信息对应关系为基础构造。来下载和将数据集处理成上述格式。完全可以满足内部使用了。
基于大语言模型的应用
最新发布
yueshu_graph的博客
05-17 239
在AI领域，大语言模型已成为备受瞩目的焦点，尤其在自然语言处理（NLP）领域，其应用愈发广泛。BLM作为一种多任务语言建模方法，旨在构建一个具备多功能的强大模型。在给定文本和查询条件下，该模型能够充分利用上下文中的丰富信息，如查询内容、特定任务或领域知识，以生成准确而恰当的答案。这一特性使得BLM在优化自然语言处理任务中展现出巨大潜力。
fatal: could not create work tree dir 'GLM-130B': Permission denied
05-23
这个错误通常是因为你尝试在没有写入权限的文件夹中创建工作目录。你可以尝试以下解决方法： 1. 确认你有足够的权限在该目录下创建文件夹。可以使用 `ls -ld [目录名]` 命令来查看该文件夹的权限。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值