Windows本地部署知识库-Xorbits模型平台搭建【Xinference】

Windows本地部署知识库-Xorbits模型平台搭建【Xinference】

Xinference功能介绍

简介

Xorbits Inference (Xinference)是一个开源平台，用于简化各种AI模型的运行和集成。借助 Xinference，您可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的AI应用。

特点

1. 多模型：提供50多个开源模型，从文本生成到图像生成，始终保持行业前沿。
2. 多硬件：支持多种硬件平台，按需部署。
3. 可定制：根据自己的需求和数据进行模型微调，提升模型在特点业务场景下的效果。
4. 低门槛：支持一体机/云端部署等多种部署模式，降低运维成本。
5. 分布式：原生分布式架构，可轻松水平扩展集群，支持负载均衡与容错。
6. 极致性能：高效适配底层硬件，使用vLLM和投机采样等优化技术，大幅提升推理吞吐，降低API延迟。

主要应用

1. 文生图：部署Stable Diffusion模型，使用AI绘图软件提升设计效率。
2. 代码生成：通过开源智能代码编程助手，帮助开发人员提高编码效率和质量。
3. 企业知识库：基于开源LLMOps工具和编程框架，开发者可以更快速地构建AI原生知识应用。
4. AI应用框架：使用LangChain和LlamaIndex提供的接口，轻松构建AI应用。

Xinference本地源码运行

使用Git克隆源码到本地

打开本地代码存储目录，鼠标右键Git Bash Here打开Git命令窗口，输入一下命令将源代码克隆到本地：

git clone https://github.com/xorbitsai/inference.git

注：如果不想克隆代码，也可以下载代码压缩包，然后解压到本地。

使用Conda创建运行环境

在正式安装Xinference之前，建议使用Conda创建一个隔离环境方便后续操作。
关于Conda的安装可以参考这篇文章：待续…

打开上图中的任意一个命令窗口，逐条输入以下命令：

conda create -n xinf
conda activate xinf

xinf可替换为自定义的Conda环境名。

环境创建成功后，需要在新建的xinf环境下安装python和nodejs。
python建议安装3.9-3.11版本之间的，本次采用3.10版本。
nodejs安装最新版的就可以。

conda install python=3.10
conda install nodejs

至此Xinference的基本运行环境搭建完成。

Conda环境使用pip源码安装

进入源码根目录（默认：inference），目录内应包含setup.cfg和setup.py文件，然后执行以下安装命令：

pip install -e .

等待安装命令运行成功后运行以下启动命令：
若安装命令运行失败，请参考这篇文章：inference源码安装失败卡死情况解决办法

xinference-local --host 127.0.0.1 --port 9997

等待启动命令运行成功后：

使用浏览器访问http://127.0.0.1:9997进入webui界面：

使用浏览器访问http://127.0.0.1:9997/docs进入api界面：

至此Xinference源码安装成功！

Xinference命令安装运行

重新创建Conda环境

重新创建一个运行以免造成依赖冲突：

conda create -n xinf_pro
conda activate xinf_pro

环境创建成功后，需要在新建的xinf_pro环境下安装python。
python建议安装3.9-3.11版本之间的，本次还是采用3.10版本。

conda install python=3.10

至此Xinference的基本运行环境搭建完成。

通过pip命令安装Xinference

Xinference有很多引擎版本，本次我们使用Transformers引擎，PyTorch(transformers)引擎支持几乎有所的最新模型，这是Pytorch模型默认使用的引擎：

pip install "xinference[transformers]"

注意：如果安装过程中出现超时异常，可运行以下命令，从国内资源安装下载，速度更快：

pip install "xinference[transformers]" -i https://pypi.tuna.tsinghua.edu.cn/simple

至此Xinference安装成功！

Xinference启动

运行以下命令启动Xinference：

xinference-local --host 127.0.0.1 --port 9997

至此Xinference启动成功！

注意事项

注意！注意！注意了！
安装完成后一定要检查一下是否是GPU运行大模型


如果没有GPU选项，则需要运行以下命令重新安装pytorch为CUDA版本：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

CUDA具体版本号需要根据自己电脑GPU配置进行相应调整，如有不懂请参考：Conda环境下pytorch-cuda安装