BUG: ValueError: The model‘s max seq len (32768) is larger than the maximum number of tokens

已于 2024-06-20 21:12:20 修改
阅读量5.8k 收藏 21
点赞数 9
分类专栏： BUG 文章标签： bug python
于 2024-05-27 16:28:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38463737/article/details/139241176
版权

BUG: ValueError: The model’s max seq len (32768) is larger than the maximum number of tokens that can be stored in KV cache (1152).

环境

linux
python 3.10
torch 2.1.2+cu118
vllm 0.3.3+cu118
xformers 0.0.23.post1

详情

使用vllm启动大模型出现的错误。

ValueError: The model’s max seq len (32768) is larger than the maximum number of tokens that can be stored in KV

最低0.47元/天 解锁文章
OpenAI GPT-3 API error: “This model‘s maximum context length is 2049 tokens“
suiusoar
09-24 674
OpenAI GPT-3 API 错误：“此模型的最大上下文长度是 2049 个token”
解决ValueError: n_splits=10 cannot be greater than the number of members in each class.
CSDN 精品推荐
08-28 1149
在训练模型时使用到了交叉验证，当我设置 `n_split = 10` 出现如下问题 `ValueError: n_splits=10 cannot be greater than the number of members in each class.`
VLLM启动报错：ValueError: The model‘s max seq len (19008) is larger than the maximum number of tokens tha
h1773655323的博客
04-24 5716
ValueError: The model's max seq len (19008) is larger than the maximum number of tokens that can be stored in KV cache (3840). Try increasing `gpu_memory_utilization` or decreasing `max_model_len` when initializing the engine.
比肩满血DS，阿里开源 QwQ-32B 本地部署，Ollma/vLLM 实测对比，消费级显卡可跑，效果炸裂
最新发布
2401_85375151的博客
03-19 1803
本文带大家本地部署最新开源的推理模型QwQ-32B，并通过 Ollama/vLLM 进行了实测对比。Ollama/vLLM 怎么选？易用性：无疑是 Ollama，几行命令就能跑起来，小白友好；而 vLLM 安装和模型适配，门槛较高，适合有一定代码阅读能力的玩家；推理性能：无脑选 vLLM，即便是单发请求，Ollama26 token/svs vLLM32 token/s，更遑论 Ollama 还不支持并发；安全性：vLLM 的 API 支持令牌授权，而 Ollama 不支持。结论。
大模型推理工具：vLLM的入门使用
2401_84215165的博客
04-08 2万+
vLLM是一个快速且易于使用的LLM推理和服务库。最先进的服务吞吐量使用PagedNote有效管理注意力键和值内存传入请求的连续批处理使用CUDA/HIP图快速执行模型量化：GPTQ、AWQ、SqueezeLLM、FP8 KV缓存优化的CUDA内核与流行的拥抱脸模型无缝集成高吞吐量服务于各种解码算法，包括并行采样、波束搜索等分布式推理的张量并行性支持流式输出与OpenAI兼容的API服务器支持NVIDIA GPU和AMD GPU（实验性）前缀缓存支持。
This model‘s maximum context length is 4097 tokens, however you requested 6391 tokens (5367 in your
Yolanda_723的博客
05-29 4133
在使用langchain框架构建本地知识库时，query过程中报错“This model's maximum context length is 4097 tokens, however you requested 6391 tokens (5367 in your prompt;检查了很多问题，最后发现是TextSplitter的问题。原本代码中用的加载器是RecursiveTextSplitter，将它改成CharacterTextSplitter后就不再报错，语言模型也能返回正确的回答了。
本地化部署大模型方案二：fastchat+llm(vllm)
huiguo_的博客
01-23 1万+
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。
成功解决ValueError: All arrays must be of the same length
m0_66793065的博客
10-23 2万+
这个错误通常是在使用需要数组长度一致的Python函数或方法时发生的，例如pandas库中的一些函数。这个错误提示意味着你正在试图将长度不同的数组作为输入。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2573
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
OpenAI GPT-3 API error: “This model‘s maximum context length is 4097 tokens“
suiusoar
08-12 1103
OpenAI GPT-3 API 错误：“此模型的最大上下文长度为 4097 个 token”
报错解决ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or
热门推荐
weixin_47344149的博客
04-15 4万+
本文内含详细的bool数组操作例子，以及报错解决方案。
大模型推理加速调研（框架、方法）
qq_33287871的博客
01-05 744
大模型推理加速的目标是高吞吐量、低延迟。吞吐量为一个系统可以并行处理的任务量。延时，指一个系统串行处理一个任务时所花费的时间。调研了一些大模型推理的框架。近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，为了将大模型部署在端侧设备中，我们需要使用一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。量化（Quantization）剪枝（Pruning）知识蒸馏（Knowledge Distillation）
vllm减小显存 | vllm小模型大显存问题
weixin_48435461的博客
07-16 1万+
这也是为什么有时候你跑1.5b模型也会显存拉满。实际测试也是如此，我使用下述命令，会报错。vllm日志输出的内容，你可以设置。
vllm0.5.0发布lora模型，报ValueError: max_num_batched_tokens must be ＜= 65528 when LoRA is enabled.
xinvictory的专栏
12-18 1083
默认是0.9.占用显存的比例，请根据你的显卡显存大小设置合适的值，例如，如果你的显卡有80G，您只想使用24G，请按照24/80=0.3设置。# 默认是0.9.占用显存的比例，请根据你的显卡显存大小设置合适的值，例如，如果你的显卡有80G，您只想使用24G，请按照24/80=0.3设置。"--block-size", "32" , # 增加此参数并设置合适的批量大小。"--block-size", "32" , # 增加此参数并设置合适的批量大小。# 的连续块的令牌块大小“令牌。
构建企业私有RAG大模型: (可商用)利用vLLM部署开源大模型，能写文章、能聊天！
2301_76168381的博客
01-28 2074
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
vllm常用参数总结
baiyipiao的博客
09-05 1万+
具体参数：OpenAI 兼容服务器 — vLLM引擎参数 — vLLM常用参数： 2. 终端分析 2.1 查看终端内容 2.2 /metircs接口 请求： curl http://localhost:8000/metircs输出结果较长，主要分析vllm:采用的框架为vllm，部署的Qwen72B是选择环境0.4.3部署的Llama70B选择的环境是0.5.3vllm低版本无法适配Llama模型，在vllm0.5.3修复了该问题Issue：[Model] Meta Llama 3.1
python报错：PyThone field larger than field limit (131072)
qq_41814556的博客
09-13 3569
 处理问题：PyThone field larger than field limit (131072) 文件数据过大，而导致csv无法读取，添加下段代码即可解决 import sys maxInt = sys.maxsize decrement = True while decrement: decrement = False try: csv.field_...
解锁大模型潜力：vLLM 集群部署 满血DeepSeek R1 671B大模型实战指南
m0_59163425的博客
02-25 4665
导语： 大模型时代，如何高效部署和推理成为关键挑战。DeepSeek 是一个专注于中文理解和生成的大模型系列，涵盖了文本分类、情感分析、机器翻译、文本摘要等多个任务。其强大的语义理解和生成能力，为各种自然语言处理应用提供了有力支持。本文将带你深入探索 vLLM 集群部署 DeepSeek 大模型的实战技巧，解锁大模型应用的无限可能！近年来，大模型在自然语言处理、计算机视觉等领域取得了突破性进展，但其庞大的参数量和计算需求也给部署和推理带来了巨大挑战。如何高效、稳定地运行大模型，成为开发者们关注的焦点。
hashmap hashtable concurrenthashmap
09-13
HashMap，Hashtable和ConcurrentHashMap都是Java中用于存储键值对的数据结构。 HashMap是非线程安全的哈希表实现，它允许null键和null值，并且可以存储不同类型的键值对。HashMap基于哈希算法，通过计算键的哈希码来确定其在内部数组中的位置。它提供了快速的插入、删除和查找操作，但在多线程环境下使用时需要进行额外的同步操作。 Hashtable是HashMap的线程安全版本，它在操作上使用了同步方法来保证线程安全。与HashMap一样，Hashtable也允许null键和null值，并且支持不同类型的键值对。然而，由于同步机制的引入，Hashtable的性能通常要比HashMap慢。 ConcurrentHashMap是Java 5中引入的高度并发的哈希表实现。与Hashtable一样，ConcurrentHashMap也是线程安全的，但它采用了一种不同的锁分段机制来提高并发性能。ConcurrentHashMap将整个哈希表分成多个独立的部分，每个部分都有自己的锁，这样多个线程可以同时访问不同的部分。这使得ConcurrentHashMap在高并发环境下具有更好的性能。 总结来说，HashMap适用于单线程环境或者多线程环境下不涉及并发操作的情况；Hashtable适用于多线程环境下需要进行同步操作的情况；而ConcurrentHashMap适用于高并发环境下需要高性能的情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值