qwen2 支持更长内容输入model_max_length 32k；外推最大支持128k

已于 2024-07-16 15:38:08 修改
阅读量380 收藏
点赞数 3
分类专栏： 深度学习 大模型AI 文章标签： 人工智能 llm 大模型 qwen
于 2024-06-29 10:53:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/140060393
版权

这里qwen2使用的YARN长度外推
https://qwenlm.github.io/zh/blog/qwen2/
在这里插入图片描述
常见外推方法：需要训练和不需要训练
https://kexue.fm/archives/9859
在这里插入图片描述

1、model_max_length 32k

参考：

https://huggingface.co/Qwen/Qwen2-7B-Instruct/blob/main/config.json
config配置文件里也可以看到一些模型信息，能输入识别长度max_position_embeddings或model_max_length=32768；

vllm运行：

served_model_name参数可以自定义模型服务名称

docker run  --gpus all
了解本专栏 订阅专栏 解锁全文 超级会员免费看
loong_XL
关注
专栏目录
订阅专栏
chatglm4 支持更长内容输入model_max_length 128k；外推最大支持1M 100万
weixin_42357472的博客
07-19 903
要使用 --enable_chunked_prefill --max_num_batched_tokens 8192 两个参数，不适用两张卡也不足。GLM-4-9B-Chat-1M 的模型仓库，支持1M上下文长度（100万）texts是加载的一个文档，大概2万多字。测试下来10万上下午没问题，两张卡。
qwen在vLLM下的长度外推简易方法
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
01-17 973
在当前的版本vLLM中实现qwen的长度外推。
128 Custom Json Configuration（自定义Json配置文件）
学会分享
04-29 350
Custom Json Configuration（自定义Json配置文件）
Qwen等大模型使用 vLLM部署详解
酌沧
06-11 5391
vLLM 预分配并管理推理过程中使用的缓存空间，如 past_key_values。通过预分配缓存，可以减少推理过程中因动态内存分配带来的开销。
.NET 云原生架构师训练营（模块二 基础巩固 配置）--学习笔记
MINGSON666的博客
12-16 113
2.2.3 核心模块--配置 IConfiguration Options ASP.NET Core 中的配置：https://docs.microsoft.com/zh-cn/aspnet/core/fundamentals/configuration/?view=aspnetcore-5.0 IConfiguration IConfiguration 的使用 层级对象配置到 key-value 键值对转换 通过环境变量修改日志级别 通过命令行修改日志级别 IConfiguration 的使
阿里qwen微调
ShengFangZaiXiaMo的博客
04-22 1477
阿里qwen大模型微调
llama_factory微调QWen1.5
liguandong
04-15 2938
我们开源了包括0.5B、1.8B、4B、7B、14B和72B共计6个不同规模的Base和Chat模型，, 以及一个MoE模型（点击博客 了解详情），并同步放出了各尺寸模型对应的量化模型。请访问here开始使用，我们建议您试用Qwen1.5-72B-chat。模型效果 为了全面洞悉 Qwen1.5 的效果表现，我们对 Base 和 Chat 模型在一系列基础及扩展能力上进行了详尽评估，包括如语言理解、代码、推理等在内的基础能力，多语言能力，人类偏好对齐能力，智能体能力，检索增强生成能力（RAG）等。
ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently ported.解决方案
热门推荐
weixin_43178406的博客
02-28 2万+
本文主要介绍了ValueError: Tokenizer class Qwen2Tokenizer does not exist or is not currently ported.解决方案，希望能对使用Qwen 1.5的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Qwen2-7B-Instruct 的 model-00004-of-00004.safetensors 的2/2
最新发布
07-26
Qwen2-7B-Instruct 的 model-00004-of-00004.safetensors 的2/2
LLM微调系列——Qwen微调教程
趋吉避凶的博客
02-04 3814
作者在微调Qwen时遇到的一些坑以及一点经验 作者在微调Qwen时遇到的一些坑以及一点经验。
【大模型】微调Qwen1.8B
Dong_ZH的博客
02-21 2589
使用地址数据微调Qwen1.8B。Qwen提供了预构建的Docker镜像，在使用时获取镜像只需安装驱动、下载模型文件即可启动Demo、部署OpenAI API以及进行微调。获取方式：docker pull qwenllm/qwen:cu117。
Qwen2大模型微调入门实战（完整代码）
SoulmateY的博客
06-09 1万+
是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。本教程参考了。
阿里云大模型Qwen系列输入参数说明
zengzizi的博客
05-21 3516
当以stream模式输出结果时，接口返回结果为generator，需要通过迭代获取结果，默认每次输出为当前生成的整个序列，最后一次输出为最终全部生成结果，可以通过设置参数incremental_output为False改变输出模式为非增量输出。当模型将要生成的token或其对应的token_id在stop中时，模型生成将会停止。token_id为108386和104307分别对应token为“你好”和“天气”，设定stop为[108386,104307]，则模型将要生成“你好”或者“天气”时停止。
Qwen源码解析：finetune.py
人工智能曾小健
09-26 1953
Python代码，涉及deepspeed、transformers、peft等库，用于定义数据与模型相关的参数和配置。这段代码主要定义了与模型、数据和训练相关的参数和配置类。希望这个解释对您有所帮助！
LLaMA-Efficient-Tuning参数
weixin_45448034的博客
12-03 598
这个文章单纯记录参数，不分析。
LLMs之Qwen2：Qwen2的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-14 5550
​ LLMs之Qwen2：Qwen2的简介、安装和使用方法、案例应用之详细攻略 目录 Qwen2的简介 Qwen2的安装和使用方法 Qwen2的案例应用 Qwen2的简介 2024年6月6日，发布Qwen2，Qwen2是从Qwen1.5进化而来，提供五种规模的预训练和指令微调模型（0.5B、1.5B、7B、57B-A14B和72B），支持多达27种语言，具有顶尖的基准测试性能，在编码和数学方面显著提升，并扩展了Qwen2-7B-Instruct和Qwen2
【多模态大模型教程】在自定义数据上使用Qwen-VL多模态大模型的微调与部署指南
python1234_的博客
06-18 2942
提供了这个脚本供用户实现在自己的数据上进行微调的功能，以接入下游任务。此外还提供了shell脚本减少用户的工作量。这个脚本支持 DeepSpeed 和 FSDP。
Qwen2ForCausalLM.__init__() got an unexpected keyword argument 'fp16'
05-03
Qwen2ForCausalLM是一个类，它的__init__()方法用于初始化对象。根据你提供的信息，出现了一个错误，即__init__()方法接收到了一个名为'fp16'的意外关键字参数。这意味着在调用Qwen2ForCausalLM类的构造函数时，传递了一个名为'fp16'的参数，但该类的构造函数并不接受这个参数。 可能的原因是： 1. 你可能使用了错误的类或版本，该类或版本不支持'fp16'参数。 2. 你可能在调用构造函数时拼写错误，导致传递了错误的参数名称。 为了解决这个问题，你可以检查以下几点： 1. 确保你正在使用正确的类和版本，并查看其文档以了解支持的参数。 2. 检查你调用构造函数时传递的参数名称是否正确拼写。 如果你需要更具体的帮助，请提供更多关于你使用的类和代码的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值