【部署glm4&长上下文能力推理测试】【已解决】cuda断言错误、token超限制排查思路

前言

• glm4已经部署成功，在输入token较短的情况进行简单测试的情况下，可以成功得到大模型回答；
• 但需要利用glm4的长上下文处理能力时（即输入较长token时）， 总是报token超限制、cuda断言错误等.
  

具体报错内容如下

1 报错内容

1.1 warning/提醒

Token indices sequence length is longer than the specified maximum sequence length for this model (13142 > 8000). Running this sequence through the model will result in indexing errors

从字面上理解，报这个错是因为输入token为13142，但是模型限制输入长度为8000！因此核心是要修改模型限制输入长度。

1.2 通用报错

RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously repo