vLLM模型推理引擎参数大全

引擎参数

以下是对vLLM引擎参数的详细说明：

--model <模型名称或路径>

要使用的huggingface模型的名称或路径。

--tokenizer <tokenizer名称或路径>

要使用的huggingface分词器的名称或路径。

--revision <修订版本>

要使用的特定模型版本。可以是分支名称、标签名称或提交ID。如果不指定，则使用默认版本。

--tokenizer-revision <修订版本>

要使用的特定分词器版本。可以是分支名称、标签名称或提交ID。如果不指定，则使用默认版本。

--tokenizer-mode {auto,slow}

分词器模式。

• “auto” 将在可用时使用快速分词器。

• “slow” 始终使用慢速分词器。

--trust-rem