关于Xinference
项目地址:
https://www.oschina.net/p/xinference
Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。
觉得不错,可以加星星!!!
https://github.com/xorbitsai/inference
使用文档:
https://inference.readthedocs.io/zh-cn/latest/index.html
主要功能
-
🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。 ⚡️
-
前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2
等,一键即可体验!内置模型列表还在快速更新中! 🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU -
进行推理,降低延迟,提高吞吐! ⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括
Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。 🌐 集群计算,分布协同:
-
支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。 🔌 开放生态,无缝对接:
-
与流行的三方库无缝对接,包括 LangChain,LlamaIndex,Dify,以及 Chatbox。
为什么选择 Xinference
Xinference v0.12.2 正式发布
https://www.oschina.net/news/298506/xinference-0-12-2-released
新功能 🚀
Qwen moe 系列支持 tool call 🔧
rerank 模型支持输出 usage,兼容 Cohere API 📊
BUG 修复 🐛
修复自定义 rerank 模型的问题 🛠️
修复错误数量超过 100 时 chat 接口不响应的问题 🐍