LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

汀、人工智能

于 2024-05-28 11:22:58 发布

阅读量1.5k

点赞数 18

分类专栏： LLM技术汇总文章标签：人工智能自然语言处理 LLM Agent vLLM AI大模型大模型部署

涉及博主原创类文章，未经博主许可不允许转载

本文链接：https://blog.csdn.net/sinat_39620217/article/details/139261659

版权

LLM技术汇总专栏收录该内容

82 篇文章 ¥29.90 ¥99.00

订阅专栏

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

1.环境准备

GPU设备: A10, 3090, V100, A100均可.

#设置pip全局镜像 (加速下载)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
#安装ms-swift
pip install 'ms-swift[llm]' -U

#vllm与cuda版本有对应关系，请按照`https://docs.vllm.ai/en/latest/getting_started/installation.h