GLM-130B

最新推荐文章于 2024-11-23 17:07:34 发布
最新推荐文章于 2024-11-23 17:07:34 发布
阅读量312 收藏 1
点赞数
分类专栏： # LLM/经典模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132114073
版权
本文介绍了GLM-130B的训练过程，包括其预训练任务——自回归填空，LayerNorm的DeepNorm应用，以及RoPE位置编码。此外，还探讨了大模型训练中的工程挑战，如混合精度训练、激活函数重演、数据并行和模型并行策略，特别是GLM-130B的并行策略，以及训练稳定性问题和模型量化。
摘要由CSDN通过智能技术生成

上周六在直播里看了清华大学曾奥涵同学做的报告“从GLM-130B到ChatGLM：大模型预训练与微调”，整个报告分为三个部分，本文是根据其中的第二段“大规模语言模型系列技术：以GLM-130B为例”中的部分内容整理而成的笔记，可以通过这份笔记快速了解一下GLM-130B的训练过程。完整的直播回放可以在B站观看：

【报告】从GLM-130B到ChatGLM：大模型预训练与微调_哔哩哔哩_bilibili​www.bilibili.com/video/BV1iu4y1Z7bv/?vd_source=8d00c2c0cdbe325ba3b959e4aea901ea​编辑

除了视频以外，以下的论文和博客也可以帮助快速了解GLM-130B：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
GLM-130B本地部署的实战方案
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
【AI开源大模型】GLM-130B：开放的中英双语预训练模型
AI天才研究院
06-23 8621
GLM-130B 是一个开源开放的双语（中文和英文）双向稠密模型，拥有 1300 亿个参数，模型架构采用通用语言模型（GLM）。它旨在支持在一台 A100（40G * 8）或V100（32G * 8）服务器上对千亿规模的参数进行推理。双语：同时支持中文和英文。任务表现（英文）： 在 LAMBADA 上优于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略优于GPT-3 175B（+0.9%）。任务表现（中文）
教你10分钟部署chatglm130B大模型，无痛上手
xinwenh的博客
10-07 1315
chatglm大模型私有化部署
来自清华的ChatGPT？GLM-130B详解
张伟的专栏
05-12 2440
本文会分析一下来自清华的ChatGPT，这篇论文的价值很大，为什么这么将？因为他开源了所有代码，包括模型，baseline。确实是一个不错的里程碑。
【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型
bqw的博客
02-20 8109
​ 大语言模型(LLMs)，特别是参数超过100B的模型呈现出诱人的scaling laws，其会突然涌现出zero-shot和few-shot能力。具有175B参数的GPT-3率先对100B尺度的LLM进行了研究：在各种基准上，使用32个标注示例可以显著超越全监督的BERT-Large模型。然而，GPT-3本身以及如何训练仍然是无法公开获得的。训练出如此规模的高质量LLM，并对每个人分享模型和训练过程非常的有价值。​ 我们的目标是预训练一个开源且高准确率的100B模型。
LLMs之GLM-130B/ChatGLM-1：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 3427
​ LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 目录 相关文章 《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 ABSTRACT摘要 1、INTRODUCTION引言 2、THE DESIGN CHOICES OF GLM-130B的设计选择 3、THE TRAINING STABILITY OF
番外02.GLM-130B
老毛的博客
06-23 759
首发公众号：学姐带你学AI本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。Glm-130B：开放的双语预训练模型作者：Hugo Touvron等单位：清华大学发表时间：ICLR 2023项目地址：https://github.com/THUDM/GLM-130B这个模型有个轻量化版本GLM-6BGLM-130B是一个双语（英语和汉语）预训练的语言模型，具有1300亿个参数，使用了General Language Model (GLM)的算法。
【通用大语言模型】GLM-130B：一个开放的双语预训练模型
热门推荐
AI天才研究院
03-20 2万+
最伟大的艺术家不是画出最美的图画、写出最好的诗或演奏最好的交响乐的人。伟大的艺术家不是完美的。三亚最热的月份是6月,平均气温为28.5°C,极端最高气温为35.7°C ,三亚没有明显的冬季,而且冬季更是到海滨旅游的最好时候,所以三亚是全年全天候避寒、消暑、度假、旅游的好地方。在 NLU、条件生成和无条件生成的广泛任务中，GLM 在相同模型大小和数据的情况下优于 BERT、T5 和 GPT，并且在具有 1.25× BERT Large 参数的单个预训练模型中实现了最佳性能，展示了其对不同下游任务的泛化能力。
GLM-130B v1.pdf
06-13
### GLM-130B: 开源双语预训练模型 #### 概述 《GLM-130B v1.pdf》介绍了一款名为GLM-130B的开源双语（英语和中文）预训练语言模型。该模型拥有1300亿参数量，是目前公开发布的最大规模的双语模型之一。本文档详细...
【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
11-01
GLM-130B：AN OPEN BILINGUAL PRE-TRAINED MODEL GLM-130B 是一个双语（英语和中文）的预训练语言模型，具有 130 亿个参数。它是一个尝试开放源代码的 100B 级模型，至少与 GPT-3（davinci）一样好，揭示了如何成功...
从GLM-130B到ChatGLM，清华ChatGLM一作曾博士报告ppt
AIMasterStar的博客
06-06 1415
自8月起，GLM团队进一步向模型注入了文本和代码预训练，通过有监督微调等技术实现人类意图对齐，于23年2月开始内测 ChatGLM千亿对话模型，于3月开源ChatGLM-6B模型。报告将分享 GLM团队在千亿训练和ChatGLM研发过程的一点思考和尝试。曾奥涵： 清华大学知识工程实验室一年级博士生，为开源双语预训练模型 GLM-130B 模型和 ChatGLM 系统的主要开发者之一，研究方向为自然语言处理与大规模预训练模型，指导老师为唐杰教授。
机器学习周志华学习笔记-第6章＜支持向量机＞
最新发布
ydl1128的博客
11-23 341
机器学习周志华学习笔记-第6章
yolov5训练pt模型转换为rknn模型_部署在RK3588上--整个流程
m0_60657960的博客
11-22 253
3.将onnx模型使用rknn-toolkit2中onnx文件夹的test.py转换为rknn模型；预训练模型yolov5s.pt，需要我们自行下载，在releasesl链接中找到。2.将pt模型使用yolov5工程中的export.py转换为onnx模型；4.在板子上使用rknpu2工具调用rknn模型，实现NPU推理加速。1.使用正确版本（v5.0）的yolov5进行训练得到pt模型；1、一块RK3588的开发板（上面是Ubuntu环境）2、PC电脑（上面是Ubuntu环境）
挑战 Cursor，Codeium 推出下一代 AI IDE Windsurf
weixin_44058951的博客
11-23 515
windsurf 强调人类开发者与 AI 之间的深度协作，windsurf 不仅既可以作为副驾驶（Copilot）与你协作，也可以作为独立代理（Agent）独立处理复杂任务，适应你的编码需求。自从 AI 的出现，在 IDE 的领域，不断的有新的带有 AI 性质的 IDE 出现，这不 Codeium 公司在前几天又推出了一款新的 AI IDE windsurf。虽然编程领域的 AI 工具层出不穷，但是，编程终归是一个复杂的事，如今的 AI 工具仍然存在很多不足的地方。下面来说说它的特色。
更新创新流程：桥梁表面建造材料分割检测
shanqunss的博客
11-20 865
本项目数据集信息介绍本项目所使用的数据集专注于桥梁表面建造材料的分割检测，旨在改进YOLOv11模型在材料识别和分割任务中的表现。数据集包含两种主要的材料类别：混凝土（Concrete）和钢材（Steel），这两种材料是现代桥梁建设中最常见的构成部分。通过对这两种材料的精确分割与检测，系统能够有效识别桥梁表面的不同构造，进而为桥梁的维护与管理提供重要的支持。在数据集的构建过程中，采用了多种数据采集技术，包括高分辨率图像拍摄和激光扫描，以确保所收集的样本具有足够的多样性和代表性。
【大模型-智能体】AutoGen简介
zhaoyaxuan001的博客
11-22 230
AutoGen是一个功能强大、灵活且易于使用的工具，其能够帮助开发者创建基于大语言模型的复杂应用程序。通过提供模块化设计、高级抽象层、多Agent方法以及可视化和调试工具等特性，显著降低了开发复杂度、提高了开发效率，并拓宽了应用范围。
深度学习的实践层面
m0_60541499的博客
11-19 741
在训练神经网络时，超参数选择是一个高度迭代的过程。我们通常从一个初步的模型框架开始，进行编码、运行和测试，通过不断调整优化模型。数据集一般划分为三部分：训练集、验证集和测试集。常见的比例是60%用于训练，20%用于验证，20%用于测试。然而，当数据量非常大时，验证集和测试集的比例会相应减小。验证集的目的是帮助选择最优模型，而测试集用于评估最终模型的泛化能力。对于百万级数据集，验证集和测试集可以相对较小，通常验证集选取1万条数据，测试集选取1000条数据即可。
glm-130b 架构
11-13
glm-130b是一种先进的架构，用于设计和制造高性能的电子设备。它采用了先进的硬件和软件技术，旨在实现高效的数据处理和快速的计算能力。这种架构可以应用于各种领域，包括通信、计算机视觉、人工智能和汽车技术等。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值