大模型实践笔记（1）——GLM-6B实践

已于 2024-02-02 23:20:57 修改
阅读量1.3k 收藏 16
点赞数 31
分类专栏： 人工智能 LLM Python学习 文章标签： 笔记
于 2024-02-02 22:28:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xty123abc/article/details/136001551
版权
人工智能 同时被 3 个专栏收录
27 篇文章 0 订阅
订阅专栏
Python学习
21 篇文章 1 订阅
订阅专栏
LLM
5 篇文章 0 订阅
订阅专栏

目录

在Ubuntu上的配置Git Large File Storage

安装Git LFS：

设置Git LFS：

使用Git LFS：

安装GLM-6B 

环境依赖

 ChatGLM2-6B介绍

配置GLM

下载代码

 构建环境

安装依赖 

本地部署 

网页UI 

很多模型在hugging face上面，我们一般采用远程的文件指针形式

在Ubuntu上的配置Git Large File Storage

  1. 安装Git LFS：

    • 在大多数Linux发行版上，您可以使用包管理器来安装Git LFS。例如，在基于Debian的系统上（如Ubuntu），您可以使用以下命令： 
      sudo apt-get update sudo apt-get install git-lfs
    • 对于其他操作系统或者如果您希望使用不同的安装方法，可以访问Git LFS的官方网站获取更详细的安装指南：Git LFS 官方网站。

  2. 设置Git LFS：

    • 安装完成后，您需要设置Git LFS。在您的仓库目录中运行以下命令来初始化Git LFS： 
      git lfs install
    • 这个命令会设置必要的Git钩子（hooks），以便Git LFS可以管理大文件。

  3. 使用Git LFS：

    • 您可以开始使用Git LFS来追踪大文件了。例如，如果您想追踪所有的 .bin 文件，您可以使用以下命令： 
      git lfs track "*.bin"
    • 然后，您可以像平常一样使用 git add 和 git commit 命令提交您的更改。
    • 当您克隆一个使用Git LFS的仓库时，您可能需要使用 git lfs pull 命令来拉取存储在LFS中的大文件。

安装GLM-6B 

在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分数位居 Rank 6，是榜单上排名最高的开源模型。

环境依赖

  • CUDA 11.7

  • Python 3.10

  • pytorch 1.13.1+cu117

 ChatGLM2-6B介绍

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

  • 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。

  • 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。

  • 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

  • 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。如果您发现我们的开源模型对您的业务有用，我们欢迎您对下一代模型 ChatGLM3 研发的捐赠。

配置GLM

下载代码

 $ git clone https://github.com/THUDM/ChatGLM2-6B

 构建环境

$ conda create -n GLM python=3.10       # 创建新环境
$ conda activate GLM                    # 激活环境

安装依赖 

 $ cd ChatGLM2-6B
 $ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

本地部署 

$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm2-6b

模型的实现仍然处在变动中。如果希望固定使用的模型实现以保证兼容性，可以在 from_pretrained 的调用中增加 revision="v1.0" 参数。v1.0 是当前最新的版本号，完整的版本列表参见 Change Log。

Cli测试

修改cli_demo.py

$ python cli_demo.py

不会写代码！！
关注
专栏目录
ChatGLM-6B部署、实战与微调
m0_47867638的博客
06-29 1329
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM-6B介绍
人工智能曾小健
06-10 2838
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
VisualGLM-6B——原理与部署
最新发布
m0_74343467的博客
09-26 1418
VisualGLM-6B 是一种多模态预训练模型，它旨在将视觉和语言模型进行结合，使得语言模型能够理解图像信息并与文本对话无缝结合。为了更好地理解 VisualGLM-6B 的内容，我们可以从以下几个方面来解析它的原理、结构、训练和微调等内容。
ChatGLM-6B微调与部署
dzysunshine的博客
05-05 9668
ChatGPT所展现出的强大能力，足以使许多行业发生翻天覆地的变化，而通过微调及部署较小的模型，在一些垂直领域达到和ChatGPT相近的效果，显得尤为重要。本文从模型参数，中文，微调难度等多角度考虑，选取了ChatGLM-6B模型来进行实验，主要分为3个部分：基于ChatGLM-6B的部署，基于peft框架的LoRA微调ChatGLM-6B，基于P-Tuning v2微调ChatGLM-6B（官方）。
GLM-6B部署手册
Mico_Cmx的博客
05-12 1427
手把手教你在云盘上部署GLM-6B
大模型技术实践（一）｜ChatGLM2-6B基于UCloud UK8S的创新应用
specssss的博客
08-17 701
另外，Position 1表示的是Mask后的文本中的位置，Position 2表示的是在Mask内部的相对位置。BERT使用了Transformer的Encoder作为Block，既参考了ELMo模型的双向编码思想，参考了GPT用Transformer作为特征提取器的方法，又参考了 Word2Vec所使用的CBOW方法。大语言模型的训练方式基本是海量无标签数据预训练，下游再用有标签数据微调。各大语言模型的训练基本都是基于大规模无标签语料来训练初始的语言模型，再利用下游任务的有标签训练语料，进行微调训练。
VisualGLM-6B：支持图像、中英文的多模态对话模型解读与本地化部署
梦坠凡尘
07-03 3858
之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；以CogView为例，输入token既包含了文本token，也包含了Image token，所以Transformer既建模了文本也建模了图像，并且建模了文本到图像这种跨模态的过程。在生成图像长描述的时候，距离图像较远时，语言模型的将占主导，有一定可能根据上下文生成并不存在于图像的内容。
学习《动手学大模型开发》笔记--第二章
aiyan429的博客
03-19 1025
要实现自定义 LLM，需要定义一个自定义类继承自 LangChain 的 LLM 基类，然后定义两个函数：① _call 方法，其接受一个字符串，并返回一个字符串，即模型的核心调用；②_identifying_params 方法，用于打印 LLM 信息。#导入所需的第三方库##定义一个 get_access_token 方法来获取 access_token：## 指定网址client_id=#填写API_Key#"
【ChatGPT】大语言模型排行榜：Vicuna 夺冠，清华 ChatGLM 进前五
AI天才研究院
05-07 1万+
当我们推出 Vicuna 模型时，我们使用了基于 GPT-4 的评估管道，但它没有提供可扩展和增量评级的解决方案。在这篇博文中，我们将发布我们的初步结果和基于 Elo 评分系统的排行榜，该系统是国际象棋和其他竞技游戏中广泛使用的评分系统。当我们最初发起比赛时，我们根据我们的基准获得了关于可能排名的先验信息，并选择根据这个排名来配对模型。Elo 评级系统对我们的案例很有效，因为我们有多个模型，并且我们在它们之间进行成对的战斗。这个隐藏分不仅决定了你的段位，也决定了你打排位时碰到的对手基本也是类似水平的。
GitHub热门开源项目-2024版
生活在别处
07-15 1077
前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽…互联网 Java 工程师进阶知识完全扫盲：涵盖高并发、分布式、高可用、微服务、海量数据处理等领域知识。各取所需，高效学习。
4.AI人工智能大模型汇总：类GPT系列模型、模型中转站Auto-GPT、多模态大模型、视觉模型、自然语言模型
丨汀、的博客
05-12 2729
AI人工智能大模型汇总：类GPT系列模型、模型中转站Auto-GPT、多模态大模型、视觉模型、自然语言模型
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
丨汀、的博客
06-19 3498
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
本地部署ChatGLM-6B模型（使用JittorLLMs大模型推理库）
weixin_44517477的博客
04-09 8799
使用JittorLLMs部署使用ChatGLM语言模型
ChatGLM-6B部署和微调实例
weixin_45734379的博客
01-17 1997
ChatGLM-6B是本人尝试使用和微调的第一个大语言模型，自我感觉该模型很适合作为大语言模型的入门级选手，无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署ChatGLM-6B，以及ChatGLM-6B推理和P-tuning v2微调基本步骤，希望可以帮助大家使用ChatGLM-6B。
国产开源类ChatGPT模型，ChatGLM-6b初步微调实验
大漠帝国的博客
03-22 8806
chatglm-6b微调/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu。
清华 ChatGLM-6B 中文对话模型部署简易教程
热门推荐
小白的成长
03-20 6万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
【官方教程】ChatGLM-6B 微调，最低只需 7GB 显存
AITIME_HY的博客
04-02 8999
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！内容来自：GLM大模型自3月14日开源以来，ChatGLM-6B 模型广受各位开发者关注。截止目前仅 Huggingface 平台已经有 32w+ 下载，Github Star 数量超过11k。为了促进 ChatGLM-6B 模型在各垂直领域的应用，我们现推出基于 P-Tuning v2 的微调方案。P-Tuning v2 将需要微调的参...
linux系统部署chat-glm-6b-int4
05-23
首先，你需要下载 Chat-GLM-6B-Int4 模型文件和相应的配置文件。然后，你需要在你的 Linux 系统上安装 PyTorch 和 Transformers 库。你可以使用以下命令安装这两个库： ``` pip install torch pip install transformers ``` 接下来，你需要编写一个 Python 脚本来部署 Chat-GLM-6B-Int4 模型。你可以使用以下代码作为脚本的基础： ```python import torch from transformers import GPT2Tokenizer, GPT2LMHeadModel # 加载模型和分词器 tokenizer = GPT2Tokenizer.from_pretrained('chat-glm-6b-int4/config') model = GPT2LMHeadModel.from_pretrained('chat-glm-6b-int4/model') # 指定设备 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) # 对话循环 while True: # 获取用户输入 user_input = input("You: ") # 把用户输入转换成模型的输入格式 input_ids = tokenizer.encode(user_input, return_tensors='pt').to(device) # 在模型上生成回复 output = model.generate(input_ids, max_length=1000, do_sample=True, temperature=0.7) response = tokenizer.decode(output[0], skip_special_tokens=True) # 输出回复 print("Chat-GLM-6B-Int4: " + response) ``` 在这个脚本中，我们首先加载 Chat-GLM-6B-Int4 模型和相应的分词器。然后，我们检查可用的设备并将模型移动到相应的设备上。最后，我们开始一个对话循环，其中用户输入被转换为模型的输入格式，并在模型上生成回复。回复被解码并输出给用户。 注意，这个脚本只是一个基础示例，你需要根据你的具体需求进行修改。例如，你可能需要添加一个 Web 接口来允许用户通过浏览器与 Chat-GLM-6B-Int4 进行交互。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值