情况描述
环境:
linux
transformers 4.41.2
tokenizers 0.19.1
torch 2.3.0
vllm 0.4.3
在使用vllm运行xverse/XVERSE-13B-256K时(代码如下):
from vllm import LLM, SamplingParams
llm = LLM(
model=args.pretrain,
trust_remote_code=True, seed=args.seed
)
报错如下
File "/cfs/xxx/xxx.py", line 155, in <module>
vllm_main