chatglm4 支持更长内容输入model_max_length 128k；外推最大支持1M 100万

已于 2024-07-19 13:45:02 修改
阅读量839 收藏
点赞数 8
分类专栏： 深度学习 大模型AI 文章标签： chatglm 大模型 vllm 上下文 窗口
于 2024-07-19 12:01:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/140545483
版权

参考：
https://huggingface.co/THUDM/glm-4-9b-chat-1m
GLM-4-9B-Chat-1M 的模型仓库，支持1M上下文长度（100万）

下载：

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/glm-4-9b-chat-1m  --local-dir glm4-9b-1m

vllm推理：
要使用 --enable_chunked_prefill --max_num_batched_tokens 8192 两个参数，不适用两张卡也不足
在这里插入图片描述

CUDA_VISIBLE_DEVICES=1,2 docker run  --gp
了解本专栏 订阅专栏 解锁全文 超级会员免费看
loong_XL
关注
  • 8
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
django - models中max_length值的意义
Bsj' blog
03-04 2296
max_length 官网：The maximum length (in characters) of the field. 这个属性的值限制字符个数的长度； 内容已完结，
GLM4指令微调实战（完整代码）
SoulmateY的博客
06-10 3145
GLM4指令微调实战，学习LLM微调的入门级任务，附带完整代码。
[大模型]GLM-4-9B-Chat vLLM 部署调用
FL1623863129的博客
06-11 2724
考虑到部分同学配置环境可能会遇到一些问题，我们在 AutoDL 平台准备了 GLM-4 的环境镜像，该镜像适用于本教程需要 GLM-4 的部署环境。（vLLM 对 torch 版本要求较高，且越高的版本对模型的支持更全，效果更好，所以新建一个全新的镜像。在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。的指示将端口映射到本地，然后在浏览器中打开链接 http://localhost:6006/ ，即可看到聊天界面。
智普AI | ChatGLM4 已开源 详细推理教程
最新发布
ll253q的博客
06-20 2930
GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型我是在云服务器上（算力云）推理的GLM4：最好是单张4090（3090也可以）首页 · 魔搭社区 (modelscope.cn)根据需求而定下载哪一个模型，我这里下载的GLM-4-9b-chat然后在你的笔记本里面下载模型首先要下载modelscope：pip install modelscope -i（可以加一个源镜像）
GLM+vLLM 部署调用
qq_38915354的博客
06-13 1772
vLLM 框架是一个高效的大型语言模型（LLM）推理和部署服务系统
dlib_face_recognition_resnet_model_v1.dat
06-09
dlib_face_recognition_resnet_model_v1.dat
B20_08_NNCase编译MobileNet_v1_1.0即tflite量化为kmodel v3.zip
03-10
B20_08_NNCase编译MobileNet_v1_1.0即tflite量化为kmodel v3.zip包含以下文件： ncc-win7-x86_64.zip即NNCase Converter v0.1.0 RC1对应的c#源码 nncase-0.1.0-rc1.zip即NNCase Converter v0.1.0 RC1对应的c#源码 ...
dlib_face_recognition_resnet_model_v1.dat.zip
06-03
dlib_face_recognition_resnet_model_v1.dat是训练好的ResNet人脸识别模型，可以实现使用dlib中的深度残差网络(ResNet)进行实时人脸识别 。ResNet是何凯明在微软的时候提出的深度残差网络，获得了 ImageNet 2015 ...
MaixPy_support_Kmodel V4.zip
03-05
《MaixPy支持Kmodel V4在Maix Go硬件上的应用详解》 MaixPy是一个专为Sipeed Maix系列芯片（如K210 Kendryte）设计的Python微控制器编程环境，它提供了丰富的功能，使得在嵌入式硬件上进行机器学习和人工智能应用变...
Arm_Cortex-M_Fast_Model_Suppor​t_Package:嵌入式编码器的 Arm Cortex-M 快速模型支持包。-matlab开发
05-29
适用于 ARM:registered: Cortex:registered:-M 快速模型的 Embedded Coder:registered: 支持包支持将虚拟平台用作 PIL 和外部模式仿真中的硬件目标。 该软件包当前支持Cortex-M Arm CPU系列，包括以下内核： - 手臂...
ORM常用字段介绍
weixin_34390996的博客
12-04 233
Django中的ORM Django项目使用MySQL数据库 1. 在Django项目的settings.py文件中，配置数据库连接信息： DATABASES = { "default": { "ENGINE": "django.db.backends.mysql", "NAME": "你的数据库名称", # 需要自己手动创建数据库 ...
transformer.config/tokenizer/model
weixin_42043940的博客
08-15 6294
transformers 框架主要有三个类model 类、configuration 类、tokenizer 类，这三个类，所有相关的类都衍生自这三个类，他们都有 from_pretained() 方法和 save_pretrained() 方法。 Config类 PretrainedConfig 是其它所有 Config类 的基类，它实现了用于从本地文件或目录或库提供的预训练模型配置（从HuggingFace的AWS S3存储库下载）中加载/保存配置的常用方法。 Signature class trans
Django_Models快速上手
JINGXI的博客
12-29 280
Models创建表 -> Models增删改查 -> 区别 -> 更多参数及字段 Models创建表 1.导入models模块from django.db import models，默认自动导入 2.所有的Model都继承自django.db.models.Model类，Model类的每一个属性都继承自django.db.models.Field，这个Field有几个作用： ...
Transformers 源码阅读之BertTokenizerFast分词模型
羊城迷鹿的博客
07-01 6863
从bert-base-chinese下载预训练语言模型及其他词表，由于使用的是pytorch，因此下载即可。如果要使用英文模型，就下载能区分大小写的或者是不能区分大小写的，对于uncased，初始化时必须要把lower设为true。在深入模型细节之前，我们先用一个简单的例子看一看BertTokenizerFast究竟是用来干什么的，需要什么样的输入，又会给出怎样的输出。...........................
大模型GPU显存占用计算
weixin_44532170的博客
12-03 5256
以参数量13B大模型为例，其中B是Billion，代表十亿参数，13B就是130亿参数其中每个参数全精度是fp32，也就是float32，占用32位bit，也就是4byte字节。那么全精度13B模型占用。
huggingface.transformers术语表
诸神缄默不语的博客
03-11 4820
本部分介绍transformers包相关的术语，包括transformers模型通用的术语，和用于PreTrainedModel输入参数的术语。
预训练模型transformers综合总结（三）
yingdajun的博客
02-05 6237
这就是最后的部分，关于语言建模、多选、问答系统、文本分类、命名实体识别等任务的模型微调，这一块我也是直接看人家笔记本总结的。按照这三个部分，这个库基本就弄熟了 语言建模 主要有这两种方式进行建模 因果语言建模：模型必须预测句子中的下一个标记（因此标签与向右移动的输入相同）。为确保模型不作弊，当尝试预测句子中的标记i + 1时，它将获得一个注意掩码，以防止其访问标记i之后的标记。 屏蔽语言建模：模型必须预测输入中被屏蔽的一些标记。它仍然可以访问整个句子，因此它可以在屏蔽标记之前和之后使用标记来预测其值
【LLM系列之指令微调】长话短说大模型指令微调的“Prompt”
yanqianglifei的专栏
07-31 2983
或者有继续微调比较合适的方案也可以，不损失之前模型的效果（或者损失比较小），目前可以尝试Lora或者Qlora的方式微调底座模型，然后将训练好的Lora权重合并到原始模型，这样可以减轻多次微调对模型的影响。之前推理的时候，发现不加训练的时候prompt，直接输入模型性能会变差的，这个倒是可以理解。（3）另外通过实验发现，如果模型微调的时候使用模板，那么推理的时候应该也使用模板，否则效果会影响，直观上就是生成效果不理想，生成比较短，甚至“驴唇不对马嘴”；那高质量如何定义呢？和alpaca模板差不多。
model.add(Embedding(max_features=None, 128, input_length=65))有错吗
06-06
这行代码有语法错误，应该写成： ``` model.add(Embedding(input_dim=max_features, output_dim=128, input_length=65)) ``` 其中，input_dim表示词汇表的大小，也就是考虑的最大特征数。output_dim表示嵌入矩阵的维度，即每个单词嵌入成一个多少维的向量。input_length表示每个文本的长度，也就是每个文本将被填充（或截断）到的长度。 如果不想限制最大特征数，可以将input_dim设置为None，这样模型会自动从训练数据中提取特征。例如： ``` model.add(Embedding(input_dim=None, output_dim=128, input_length=65)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值