GLM-130B

最新推荐文章于 2024-09-17 16:52:57 发布
最新推荐文章于 2024-09-17 16:52:57 发布
阅读量276 收藏 1
点赞数
分类专栏： # LLM/经典模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132114073
版权
本文介绍了GLM-130B的训练过程，包括其预训练任务——自回归填空，LayerNorm的DeepNorm应用，以及RoPE位置编码。此外，还探讨了大模型训练中的工程挑战，如混合精度训练、激活函数重演、数据并行和模型并行策略，特别是GLM-130B的并行策略，以及训练稳定性问题和模型量化。
摘要由CSDN通过智能技术生成

上周六在直播里看了清华大学曾奥涵同学做的报告“从GLM-130B到ChatGLM：大模型预训练与微调”，整个报告分为三个部分，本文是根据其中的第二段“大规模语言模型系列技术：以GLM-130B为例”中的部分内容整理而成的笔记，可以通过这份笔记快速了解一下GLM-130B的训练过程。完整的直播回放可以在B站观看：

【报告】从GLM-130B到ChatGLM：大模型预训练与微调_哔哩哔哩_bilibili​www.bilibili.com/video/BV1iu4y1Z7bv/?vd_source=8d00c2c0cdbe325ba3b959e4aea901ea​编辑

除了视频以外，以下的论文和博客也可以帮助快速了解GLM-130B：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
GLM-130B本地部署的实战方案
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
GLM-130B v1.pdf
06-13
### GLM-130B: 开源双语预训练模型 #### 概述 《GLM-130B v1.pdf》介绍了一款名为GLM-130B的开源双语（英语和中文）预训练语言模型。该模型拥有1300亿参数量，是目前公开发布的最大规模的双语模型之一。本文档详细...
教你10分钟部署chatglm130B大模型，无痛上手
xinwenh的博客
10-07 1268
chatglm大模型私有化部署
来自清华的ChatGPT？GLM-130B详解
张伟的专栏
05-12 2363
本文会分析一下来自清华的ChatGPT，这篇论文的价值很大，为什么这么将？因为他开源了所有代码，包括模型，baseline。确实是一个不错的里程碑。
【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型
bqw的博客
02-20 8004
​ 大语言模型(LLMs)，特别是参数超过100B的模型呈现出诱人的scaling laws，其会突然涌现出zero-shot和few-shot能力。具有175B参数的GPT-3率先对100B尺度的LLM进行了研究：在各种基准上，使用32个标注示例可以显著超越全监督的BERT-Large模型。然而，GPT-3本身以及如何训练仍然是无法公开获得的。训练出如此规模的高质量LLM，并对每个人分享模型和训练过程非常的有价值。​ 我们的目标是预训练一个开源且高准确率的100B模型。
【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
11-01
GLM-130B：AN OPEN BILINGUAL PRE-TRAINED MODEL GLM-130B 是一个双语（英语和中文）的预训练语言模型，具有 130 亿个参数。它是一个尝试开放源代码的 100B 级模型，至少与 GPT-3（davinci）一样好，揭示了如何成功...
ChatGLM2-6B安装使用教程
10-07
ChatGLM-6B的前身GLM-130B模型是一个1300亿参数的大规模预训练语言模型，其特色在于支持自回归、自编码和融合编码等多种目标函数，能处理多种任务并适应不同数据源。为了适应对话场景，ChatGLM-6B进行了参数量的精简...
使用ChatGPT你应该知道这些
03-26
尽管一些文章（例如 OPT-175B 和 GLM-130B）声称它们在一些任务上能够匹配甚至超过原始的 GPT-3 的表现，在更多 GPT-3 已经测试过的任务上，这种声明仍然是存疑的。同时，根据大多数使用者在更多样的任务上的经验，...
清华⼤学计算机系 知识⼯程实验室（KEG）唐杰《从千亿模型到ChatGPT的⼀点思考》
03-20
- **GLM-130B**：拥有1300亿参数的预训练模型，基于125T中英文文本、6亿图像和千万级视频及知识图谱训练而成。 - 这些项目的成功展示了国内在大规模预训练模型方面的研究实力和技术积累。 2. **ChatGPT及其影响：...
从GLM-130B到ChatGLM，清华ChatGLM一作曾博士报告ppt
AIMasterStar的博客
06-06 1346
自8月起，GLM团队进一步向模型注入了文本和代码预训练，通过有监督微调等技术实现人类意图对齐，于23年2月开始内测 ChatGLM千亿对话模型，于3月开源ChatGLM-6B模型。报告将分享 GLM团队在千亿训练和ChatGLM研发过程的一点思考和尝试。曾奥涵： 清华大学知识工程实验室一年级博士生，为开源双语预训练模型 GLM-130B 模型和 ChatGLM 系统的主要开发者之一，研究方向为自然语言处理与大规模预训练模型，指导老师为唐杰教授。
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
weixin_45834800的博客
09-13 1050
基于区域的方法在基于模型的单目3D跟踪无纹理物体的复杂场景中变得越来越流行。然而，尽管它们能够实现最先进的结果，大多数方法的计算开销很大，需要大量资源来实时运行。在下文中，我们基于之前的工作，开发了SRT3D，这是一种稀疏的基于区域的3D物体跟踪方法，旨在弥合效率上的差距。我们的方法在所谓的对应线（这些线模型化了物体轮廓位置的概率）上稀疏地考虑图像信息。由此，我们改进了当前的技术，并引入了考虑定义的全局和局部不确定性的平滑阶跃函数。对于所得到的概率公式，提供了详尽的分析。
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1008
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
最新发布
专注MarTech应用研究与实施方案
09-17 492
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
车辆检测与分类系统源码分享
xuehaikj的博客
09-13 1445
数据集信息展示在本研究中，我们采用了名为“comexit”的数据集，以支持对YOLOv8模型在车辆检测与分类任务中的改进。该数据集专注于交通工具的识别，特别是公共交通和货运车辆，具有明确的应用背景和实用价值。数据集的类别数量为三，具体包括“bus”（公交车）、“car”（小汽车）和“truck”（卡车）。这三类车辆在城市交通和物流系统中扮演着重要角色，因此，准确的检测与分类对于交通管理、智能交通系统以及自动驾驶技术的发展具有重要意义。
opencv学习：calcHist 函数绘制图像直方图及代码实现
mohanyelong的博客
09-13 1486
opencv学习：calcHist 函数绘制图像直方图及代码实现
数据爬虫中遇到验证码的解决方法
sheji888的专栏
09-17 705
数据爬虫中遇到验证码是一个复杂而常见的问题，需要综合考虑多种因素并采取合适的解决策略。通过避免触发验证码、手动输入验证码、使用验证码识别技术、绕过验证码机制以及采用分布式爬虫和代理IP等方法，可以在一定程度上提高爬虫的稳定性和效率。然而，需要注意的是，爬虫的使用必须遵守相关法律法规和网站爬虫协议的要求，确保数据抓取活动的合法性和合规性。
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 989
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
glm-130b 架构
11-13
glm-130b是一种先进的架构，用于设计和制造高性能的电子设备。它采用了先进的硬件和软件技术，旨在实现高效的数据处理和快速的计算能力。这种架构可以应用于各种领域，包括通信、计算机视觉、人工智能和汽车技术等。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值