【大模型系列 05】GLM-10B for PyTorch 昇腾迁移

最新推荐文章于 2024-06-15 21:45:40 发布
最新推荐文章于 2024-06-15 21:45:40 发布
阅读量470 收藏
点赞数 1
分类专栏： 训练开发 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hiascend/article/details/131986826
版权

源码链接

https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/GLM-10B

GLM-10B for PyTorch

概述

简述

GLM是一个用自回归完型填空目标预训练的通用语言模型，可以在各种自然语言理解和生成任务中进行微调。

  • 参考实现：

    url=https://github.com/THUDM/GLM
commit_id=4f61ed7237a3b0187f4d62062429348276a78c84

  • 适配昇腾 AI 处理器的实现：

    url=https://gitee.com/ascend/ModelZoo-PyTorch.git
code_path=PyTorch/built-in/foundation

准备训练环境

准备环境

默认配置需要每张卡有60G以上空闲内存。

  • 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。

    表 1 版本支持表

    Torch_Version三方库依赖版本
    PyTorch 1.11deepspeed 0.6.0

  • 环境准备指导。

    请参考《Pytorch框架训练环境准备》。

  • 安装依赖。

    1. 安装基础依赖

    在模型源码包根目录下执行命令，安装模型对应PyTorch版本需要的依赖。

    pip install -r requirements.txt  # PyTorch1.11版本
    1. 安装deepspeed_npu插件
    git clone https://gitee.com/ascend/DeepSpeed.git
cd Deepspeed
pip3 install ./
    1. 安装pdsh

    获取pdsh-2.34源码并解压。

    cd pdsh-2.34
./configure --with-ssh
make && make install

准备数据集

  1. 获取数据集。

    用户自行获取原始数据集，预训练可选用的开源数据集The Pile等，微调可选用COPA数据集等。将数据集上传到服务器任意路径下并解压。

    GLM-10B预训练使用到的Pile数据集目录结构参考如下所示，完整数据集解压处理后近3T，仅使用部分数据00.jsonl预训练作为参考。多机预训练时，每节点上均须将Pile数据集移动或软连接到模型脚本目录下。默认仅使用00.jsonl文件进行预训练。

    目录结构参考如下：

    ├── GLM-10B
     ├── pile
          ├──00.jsonl
          ├──02.jsonl
          ├   ...
          ├──29.jsonl

    微调可使用COPA数据集，目录结构参考如下。

    ├── COPA
      ├──train.jsonl
      ├──test.jsonl
      ├──val.jsonl

    说明：
    该数据集的训练过程脚本只作为一种参考示例。

  2. 获取词表

    用户自行获取gpt2词表，并放在模型目录中.pytorch_pretrained_bert目录下，该目录可从参考实现链接中获取，目录结构如下。

    ├── .pytorch_pretrained_bert
      ├──gpt2-merges.txt
      ├──gpt2-vocab.json

准备模型权重

  1. 获取语言识别模型

    用户自行获取语言识别模型lid.176.bin，并放于模型目录下，预训练或微调均依赖该模型权重。

  2. 获取预训练权重

    用户自行获取预训练权重，如glm-10b-1024，可从参考实现链接中获取，在模型目录下创建checkpoints目录，并将预训练权重放入其中。微调依赖该权重。目录结构如下。

    ├── checkpoints
      ├──glm-10b-1024
          ├──126000
              ├──mp_rank_00_model_states.pt
          ├──latest
          ├──latest_checkpointed_iteration.txt

开始训练

训练模型

  1. 进入解压后的源码包根目录。

    cd /${模型文件夹名称}

  2. 运行训练脚本。

    该模型预训练支持双机16卡，微调支持单机8卡。

    • 双机16卡预训练
      修改hostfile文件，参考默认配置修改为双机IP。

      启动16卡训练。

      bash ./tests/train_pretrain_full_16p.sh # 16卡预训练长稳

bash ./tests/train_pretrain_performance_16p.sh # 16卡预训练性能

      –data_path参数填写数据集路径，若仅使用一个jsonl文件，指定到具体的文件，若使用多个，指定到上一级目录；

    • 单机8卡微调

      启动8卡微调。

      bash ./tests/train_finetune_full_8p.sh --data_path=/data/xxx/  # 8卡微调精度，

      –data_path参数填写数据集路径，需写到微调数据集的上一级目录，如COPA的上一级；

    模型训练参数说明如下。

    公共参数：
--train-iters                       //训练总迭代数
--fp16                              //是否使用fp16训练
--train_micro_batch_size_per_gpu    //每卡训练批次大小
--lr                                //学习率
--stage                             //ZeRO stage配置
--seed                              //使用随机数种子

    训练完成后，权重文件保存在当前路径下，并输出模型训练精度和性能信息。

训练结果展示

表 2 训练结果展示表

NAMESamplesPerSecIterationsDataTypeTorch_Version
Pretrain 16p-NPU255000fp161.11
Pretrain 16p-GPU315000fp161.11
NAMEAccuracyEpochsDataTypeTorch_Version
Finetune 8p-NPU98100fp161.11
Finetune 8p-GPU98100fp161.11

说明：
Accuracy指微调过程中最高精度，实际验证NPU与GPU均存在1~2%波动。

版本说明

变更

2023.6.10：首次发布。

FAQ

  1. 报错torch.cuda.nvtx缺少range属性

    # 早期版本适配问题，新版本已修复。
# 若遇到该报错，修改deepspeed/utils/nvtx.py如下。

def instrument_w_nvtx(func):
    return func

公网地址说明

代码涉及公网地址参考 public_address_statement.md

类型开源代码地址文件名公网IP地址/公网URL地址/域名/邮箱地址用途说明
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/data_utils/wordpiece.pyGLM-10B/data_utils/wordpiece.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt下载预训练文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/data_utils/wordpiece.pyGLM-10B/data_utils/wordpiece.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt下载预训练文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/data_utils/wordpiece.pyGLM-10B/data_utils/wordpiece.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt下载预训练文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttp://www.mellanox.com/downloads/ofed/MLNX_OFED下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttps://github.com/Mellanox/nv_peer_memory.git下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttps://download.open-mpi.org/release/open-mpi/下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttps://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttps://tuna.moe/oh-my-tuna/oh-my-tuna.py下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttps://github.com/pytorch/pytorch下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilegit clone https://github.com/NVIDIA/apex下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda102.dockerfileGLM-10B/docker/cuda102.dockerfilehttps://github.com/microsoft/DeepSpeed.git下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda112.dockerfileGLM-10B/docker/cuda112.dockerfilehttp://www.mellanox.com/downloads/ofed/MLNX_OFED下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda112.dockerfileGLM-10B/docker/cuda112.dockerfilehttps://tuna.moe/oh-my-tuna/oh-my-tuna.py下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/docker/cuda112.dockerfileGLM-10B/docker/cuda112.dockerfilehttps://github.com/microsoft/DeepSpeed.git下载第三方包
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/model/modeling_bert.pyGLM-10B/model/modeling_bert.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz下载权重文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/model/modeling_bert.pyGLM-10B/model/modeling_bert.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz下载权重文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/model/modeling_bert.pyGLM-10B/model/modeling_bert.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased.tar.gz下载权重文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/model/modeling_bert.pyGLM-10B/model/modeling_bert.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased.tar.gz下载权重文件
开源代码引入https://github.com/THUDM/GLM/blob/4f61ed7237a3b0187f4d62062429348276a78c84/model/modeling_bert.pyGLM-10B/model/modeling_bert.pyhttps://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz下载权重文件
hiascend
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI模型的迁移学习与领域适配
禅与计算机程序设计艺术
03-24 834
AI模型的迁移学习与领域适配 1. 背景介绍 随着人工智能技术的飞速发展,各种复杂的深度学习模型在计算机视觉、自然语言处理等领域取得了令人瞩目的成就。然而,这些高度专业化的模型通常需要大量的数据和算力支撑,并且在应用到不同的任务或场景时,往往需要重新训练整个模型。这种方法不仅效率低下,也对计算
ChatGLM部署+pytorch安装
梓川枫的博客
07-28 326
前几天跟着教程在自己电脑上部署了ChatGLM，总结一下整个过程。
ChatGPT的平替来了？一文总结 ChatGPT 的开源平替，你值得拥有
热门推荐
u012744245的博客
03-31 2万+
2023 年，聊天机器人领域似乎只剩下两个阵营：「OpenAI 的 ChatGPT」和「其他」。 再加上前段时间 GPT-4 的发布，ChatGPT 也有了更强大的推理和多模态能力，OpenAI 几乎不可能将其开源。然而，表现欠佳的「其他」阵营却一直在做开源方面的努力。 本文总结了目前业界开源且适合中文的类ChatGPT项目。
本地搭建属于自己的ChatGPT：基于PyTorch+ChatGLM-6b+Streamlit+QDrant+DuckDuckGo
人生是要不断做减法
04-16 1万+
本地部署chatglm-6b记录，解决生成式模型的时效性问题方案：通过本地数据库或者搜索引擎获取特有数据或者实时数据作为生成模型的上下文。
NLP领域大语言模型汇总
千里之行始于足下
03-28 4740
大语言模型是近年来人工智能领域重要研究方向之一。它们是基于深度学习技术构建的神经网络，可以自动学习和生成自然语言文本，如文章、对话、诗歌、代码等等。本文主要真针对目前比较火热的自然语言大语言模型，进行简单介绍，LLM包括了OpenAI的ChatGPT、百度文心一言、清华的GLM等模型。
含仿真录像，基于GLM-HMM模型的数据拟合预测matlab仿真
11-24
2.领域：GLM-HMM模型3.内容：基于GLM-HMM模型的数据拟合预测matlab仿真4.运行注意事项：注意MATLAB左侧当前文件夹路径，必须是程序所在文件夹位置，具体可以参考视频录。5.适用人群：本硕博等科研学习参考使用。
大语言模型-GLM论文
11-05
大语言模型-GLM 论文 大语言模型（General Language Model，GLM）是一种基于自回归空白填充（Autoregressive Blank Filling）的预训练架构，可以在自然语言理解（Natural Language Understanding，NLU）、无条件...
glm-0.9.9.8版本
03-23
glm-0.9.9.8版本
glm-0.9.9.7.zip
11-09
glm-0.9.9.7.zip，可以直接下载下来复制到代码文件中
glm-master.zip
11-28
OpenGL Mathematics (GLM) 是基于OpenGL着色语言（GLSL）规范的图形软件的头文件C ++数学库。 GLM提供的类和函数使用与GLSL相同的命名约定和功能设计和实现，因此任何知道GLSL的人都可以在C ++中使用GLM。
大模型基础理论学习笔记——大模型适配
maximejia的博客
01-26 1249
本文主要介绍了大模型适配的基础要素（包括预训练模型、下游任务数据集、适配参数、任务损失函数以及优化问题等）、大模型适配的主流方法，主要包括探针方法、微调方法和轻量级微调方法，参考原始论文及扩展文献，对上述主流方法的实现原理进行了深入探讨，并介绍了各个方法的特征及适用问题范围。后续，在大模型基础理论方面的学习完成后，拟进行进一步实践研究，基于现有工作，研究大模型的预训练与微调等的落地实践，以及对灵活扩展应用的探索。
【LLM大模型】指令微调、peft高效参数微调
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型
bqw的博客
02-20 7848
​ 大语言模型(LLMs)，特别是参数超过100B的模型呈现出诱人的scaling laws，其会突然涌现出zero-shot和few-shot能力。具有175B参数的GPT-3率先对100B尺度的LLM进行了研究：在各种基准上，使用32个标注示例可以显著超越全监督的BERT-Large模型。然而，GPT-3本身以及如何训练仍然是无法公开获得的。训练出如此规模的高质量LLM，并对每个人分享模型和训练过程非常的有价值。​ 我们的目标是预训练一个开源且高准确率的100B模型。
pytorch--Pooling layers
最新发布
qq_44815135的博客
06-15 423
最大池化是卷积神经网络（CNN）中常用的一种降采样操作，它可以减小输入的空间维度，并保留最显著的特征。例如，对于音频信号的处理或文本数据的卷积操作，可以使用一维最大池化来减小输入的长度。最大池化是卷积神经网络（CNN）中常用的一种降采样操作，它可以减小输入的空间维度，并保留最显著的特征。二维最大池化操作主要应用于处理图像数据。与传统的平均池化操作不同，自适应平均池化允许您指定输出的大小而不是固定的池化窗口大小。与传统的最大池化操作不同，自适应最大池化允许指定输出的大小而不是固定的池化窗口大小。
Unet心电信号分割方法（Pytorch）
weixin_39402231的博客
06-15 135
心血管疾病是一种常见病，严重影响人们的健康及日常生活。近年来随着人们生活习惯的不断变化，心血管疾病对人们影响愈加明显，发病率呈现出逐年攀升的趋势，心血管疾病是中国城乡居民死亡的首要原因。心电图ECG已被广泛用于研究心跳活动。作为一种无创的方法，ECG的相关研究为了解心脏的功能提供了便利。对心电图进行有效分析可以为心血管疾病的诊断和防治提供丰富的信息，进而大大减缓心血管疾病对人们生活的影响。 心电信号分割是心电图解读的第一步，通过心电信号分割，有助于进一步对运动员心脏健康状况进行分析，进而减少运动员受伤、
PyTorch -- 最常见损失函数 LOSS 的选择
CODE_RabbitV的博客
06-13 450
MSE CEL ...
【猫狗分类】Pytorch VGG16 实现猫狗分类1-数据清洗+制作标签文件
zw_van的博客
06-15 883
sets = ['train'] #这里是表示只有训练集表示当前的这个脚本，是我们用来处理训练集的，模型通过学习训练集中的特征和标签，去构建预测模型；这样的写法，是便于添加的列表形式，如果项目还需要val和test集，那就直接在sets里面添加这些划分，比如：sets = ['train','val','test']遍历类别：对于每个type_name，检查它是否属于classes。
大模型GLM-4V的原理
04-21
GLM-4V是一种大型模型，它的全称是Generalized Linear Model-4V。GLM-4V是一种广义线性模型，它是基于广义线性模型（Generalized Linear Model, GLM）的扩展和改进。 GLM-4V的原理如下： 1. 广义线性模型（GLM）：GLM是一种统计模型，用于建立因变量与自变量之间的关系。它通过将线性回归模型与非线性函数相结合，可以处理不满足正态分布假设的数据。GLM的基本假设是，因变量的分布可以通过一个链接函数与自变量的线性组合相关联。 2. 四个"V"：GLM-4V中的四个"V"代表了四个重要的概念，分别是Variation、Variance、Value和Validation。 - Variation（变异性）：GLM-4V关注因变量的变异性，通过分析因变量的变异程度来确定模型的拟合程度。 - Variance（方差）：GLM-4V考虑了因变量的方差，通过对方差进行建模，可以更好地描述因变量的分布特征。 - Value（价值）：GLM-4V关注因变量的价值，通过对因变量的价值进行建模，可以更好地理解因变量对自变量的响应。 - Validation（验证）：GLM-4V通过验证模型的拟合程度和预测能力，来评估模型的有效性和可靠性。 3. 模型构建：GLM-4V的模型构建包括以下几个步骤： - 数据准备：包括数据清洗、变量选择和数据转换等。 - 模型选择：选择适当的链接函数和误差分布族，并确定自变量的形式。 - 参数估计：使用最大似然估计或广义最小二乘法等方法，估计模型的参数。 - 模型诊断：对模型进行诊断，检验模型的拟合程度和假设条件是否满足。 - 模型评估：通过交叉验证等方法，评估模型的预测能力和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值