从GLM-130B到ChatGLM：大模型预训练与微调

最新推荐文章于 2024-07-29 12:47:30 发布
最新推荐文章于 2024-07-29 12:47:30 发布
阅读量3.2k 收藏 12
点赞数 1
分类专栏： 大语言模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/131034265
版权
该报告由GLM技术团队成员在'NLG专委会真知论坛'分享，深入探讨了GLM-130B的预训练过程和ChatGLM的开发，提供了大模型开发的关键洞察。报告还提及了复旦大学MOSS团队的相关研究。视频受到观众热烈反响，展示了大模型在人工智能领域的最新进展。
摘要由CSDN通过智能技术生成

【报告】从GLM-130B到ChatGLM：大模型预训练与微调_哔哩哔哩_bilibili本报告为GLM技术团队成员在「NLG专委会真知论坛（GenTalk第7期）」的报告分享，报告中详细讲述了GLM-130B预训练过程，以及ChatGLM开发过程，并提出了几点大模型开发心得。本论坛另有复旦大学MOSS团队成员孙天祥的相关报告，可参考：https://www.bilibili.com/video/BV1is4y1i7cZ, 视频播放量 4201、弹幕量 7、点赞数 198、投硬币枚数 95、收藏人数 445、转发人数 79, 视频作者 ChatGLM, 作者简介 让机器像人一样思考，相关视频：ChatGLM 部署完体验，这效果真牛逼！—— 斯坦福大学大模型中心评测，GLM-130B 是亚洲唯一入选的大模型👍🏻&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kun Li
关注
专栏目录
订阅专栏
ChatGPT 使用 拓展资料: 从GLM 到ChatGLM：大模型预训练与微调
段智华的博客
06-04 676
ChatGPT技术和OpenAI API的基础应用和进阶应用：学习了ChatGPT技术和OpenAI API的基础和进阶应用，如大模型概述、API接口概述、向量检索、文本生成、嵌入式向量检索实现问答系统、使用LangChain等，可以在不同的场景中灵活应用ChatGPT技术和OpenAI API解决问题。2， 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。
从GLM-130B到ChatGLM，清华ChatGLM一作曾博士报告ppt
AIMasterStar的博客
06-06 1355
自8月起，GLM团队进一步向模型注入了文本和代码预训练，通过有监督微调等技术实现人类意图对齐，于23年2月开始内测 ChatGLM千亿对话模型，于3月开源ChatGLM-6B模型。报告将分享 GLM团队在千亿训练和ChatGLM研发过程的一点思考和尝试。曾奥涵： 清华大学知识工程实验室一年级博士生，为开源双语预训练模型 GLM-130B 模型和 ChatGLM 系统的主要开发者之一，研究方向为自然语言处理与大规模预训练模型，指导老师为唐杰教授。
经典神经网络(15)GLM模型原理详解及其微调(文本摘要)
最新发布
qq_44665283的博客
07-29 889
经典神经网络(15)GLM模型原理详解及其微调(文本摘要)
《从GLM-130B到ChatGLM：大模型预训练与微调》笔记
yzy的博客
06-05 798
BF16牺牲了数据精度（表示由10位降到7位），但扩大了数据的表示范围（有研究表明数据表示范围比精度更重要）有个参数服务器，模型参数在参数服务器上进行更新，然后所有节点pull模型参数。alpha取0.1，手动降低embedding层的梯度。在code数据集上训练，增强大模型的逻辑推理能力。GLM和LLaMA中采用RoPE旋转式编码。100B参数的大模型开始出现智能涌现。LLaMA采用BF16训练的。大部分内存占用为激活函数。
Chatglm-130b本地部署教程
lh1234567lh的博客
09-19 3198
记录chatglm-130b的部署过程本地服务器环境：A40 (48G) *4 Ubuntu 20.04.3 LTS。
LLMs之GLM-130B/ChatGLM-1：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 3306
​ LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 目录 相关文章 《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 ABSTRACT摘要 1、INTRODUCTION引言 2、THE DESIGN CHOICES OF GLM-130B的设计选择 3、THE TRAINING STABILITY OF
基于chatGLM-6B模型预训练
sqlora的专栏
05-17 1043
基于chatGLM-6B模型预训练
【AI开源大模型】GLM-130B：开放的中英双语预训练模型
程序员光剑
06-23 8582
GLM-130B 是一个开源开放的双语（中文和英文）双向稠密模型，拥有 1300 亿个参数，模型架构采用通用语言模型（GLM）。它旨在支持在一台 A100（40G * 8）或V100（32G * 8）服务器上对千亿规模的参数进行推理。双语：同时支持中文和英文。任务表现（英文）： 在 LAMBADA 上优于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略优于GPT-3 175B（+0.9%）。任务表现（中文）
GLM-130B
u013250861的博客
08-04 279
上周六在直播里看了清华大学曾奥涵同学做的报告“从GLM-130B到ChatGLM：大模型预训练与微调”，整个报告分为三个部分，本文是根据其中的第二段“大规模语言模型系列技术：以GLM-130B为例”中的部分内容整理而成的笔记，可以通过这份笔记快速了解一下GLM-130B的训练过程。
Chatglm系列：GLM GLM130B chatglmv1 chatglmv2
fjfdg666的博客
07-16 720
2. 预训练方式1：自编码使用blank infilling的方式训练，即提取spans，并替换成mask，使用自回归的方式预测mask，spans的双向可见性取决于spans的随机排列顺序。其通过mask spans来自回归的预测被mask的span，非span区域是互见的，span之间的可见性取决于span的随机排列顺序。5. 训练集的95%使用blank filling任务训练，分别占30%、70%，训练集的另外5%来自于各个NLP任务指令数据集，通过转化成prompt的方式构建。
部署清华智谱ChatGLM3对话预训练模型
培根芝士的专栏
11-12 2033
ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
Together_CZ的博客
06-14 2514
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
大模型LLM-微调经验分享&总结
To be a better man
06-12 2605
模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。
GpuMall智算云教程：ChatGLM3-6B 对话预训练模型
GpuMall的博客
01-12 2256
训练 ChatGLM3-6B 模型，显卡显存建议选择等于大于 16GB 以上的显卡，因为 ChatGLM3-6B 模型载入后会占用大约 13GB 左右显卡显存。下面会依此演示以上四种启动和通过外网访问方式，根据自己需求选择任意一种即可（通过 API 调用访问方式用的较多）。执行如下命令启动 API 方式 ChatGLM3-6B 模型，启动后默认监听 8000 端口。目录下，不建议移动，ChatGLM3-6B 代码中已指定模型路径为。，点击更多——》创建自定义端口。，点击更多——》创建自定义端口。
大模型微调经验总结与感想分享
机器学习社区
03-13 2435
终于有时间做个最近工作的小结，最近一个多月，做了很多大模型微调的工作，包括了生成式任务以及判别式任务，典型的任务如文创、意图分类等。整理一下微调的经验与感想 （几十块A100的堆出来的，都是钱啊！
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
dream_home8407的博客
04-12 4万+
ChatGLM2-6B 模型介绍及训练实战
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
【报告】从GLM-130B到ChatGLM：大模型预训练与微调学习记录
Together_CZ的博客
07-08 524
本文主要是记录《【报告】从GLM-130B到ChatGLM：大模型预训练与微调》此次讲座的汇报内容，如有不适请联系删除即可，总结记录内容纯粹为了后面学习使用方便，文档性质的资料还是要比看视频更加方便的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值