引擎参数
以下是对vLLM引擎参数的详细说明:
--model
<模型名称或路径>
要使用的huggingface模型的名称或路径。
--tokenizer
<tokenizer名称或路径>
要使用的huggingface分词器的名称或路径。
--revision
<修订版本>
要使用的特定模型版本。可以是分支名称、标签名称或提交ID。如果不指定,则使用默认版本。
--tokenizer-revision
<修订版本>
要使用的特定分词器版本。可以是分支名称、标签名称或提交ID。如果不指定,则使用默认版本。
--tokenizer-mode
{auto,slow}
分词器模式。
-
“auto” 将在可用时使用快速分词器。
-
“slow” 始终使用慢速分词器。