搭建一个大模型API服务

1，下载swift源码：git clone https://github.com/modelscope/swift.git

2，切换到swift路径

3，安装swift：pip install -e .[llm]

4，检查服务器cuda版本与当前安装的pytorch是否对应（此处云服务器已对应）

5，模型文件下载：git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat.git

6，单卡部署：CUDA_VISIBLE_DEVICES=0 swift deploy --model_type qwen1half-4b-chat --model_id_or_path /mnt/workspace/swift/Qwen1.5-0.5B-Chat

输出此信息后表明已经部署成功，再开一个terminal进行测试即可，如下：

结果展示：