xinference服务器部署下载模型启动

前言:之前部署智普 qwen模型都是本地部署的.这里给大家推荐个xinference,具体可以搜一下科普一下.好处是体验语言模型,向量模型更简单方便了.
一丶新建一个虚拟环境
conda create -n xfc_text python==3.11
1.对于一个全新的机子来说新建完虚拟环境无法做到直接激活，重新加载你的shell配置
输入以下指令,
source ~/.bashrc
conda init
2.开始激活新建好的环境
conda activate xfc_text
二丶安装所需要的库
1.Xinference 在 Linux, Windows, MacOS 上都可以通过 pip 来安装。如果需要使用 Xinference 进行模型推理，可以根据不同的模型指定不同的引擎。
pip install “xinference[all]” -i https://pypi.tuna.tsinghua.edu.cn/simple
2.这里面缺个包,我的版本是linux 3.11的包的名字叫这个llama_cpp_python-0.2.85-cp311-cp311-linux_x86_64 (1).whl
具体版本根据自己的下载:https://github.com/abetlen/llama-cpp-python/releases/tag/v0.2.85-cu121
3.安装 xinference 和 vLLM：
pip install “xinference[vllm]”
4.安装英伟达显卡：
CMAKE_ARGS=“-DLLAMA_CUBLAS=on” pip install llama-cpp-python -i https://pypi.tuna.tsinghua.edu.cn/simple
三丶启动
1.这里需要你主盘空间够大就直接这条命令安装
XINFERENCE_HOME=/root/autodl-tmp/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
2.不够的话这个
1.设置环境变量
export XINFERENCE_HOME=/workspace/models
export XINFERENCE_MODEL_SRC=modelscope
2.创建模型目录
mkdir -p /workspace/models
3.启动xinference-local
xinference-local --host 0.0.0.0 --port 9997
3.如果你就一块gpu还是0的话就要指定启动
CUDA_VISIBLE_DEVICES=0 xinference-local --host 0.0.0.0 --port 9997
四丶下载模型
1.打开后这个页面
第一个箭头是语言模型,第二个是向量模型



如果你服务器不会挂梯子就要国内模型下载



如果你想接入rag.链接这种格式不过具体看你知识库了
http://localhost:9997/v1.