Windows本地部署知识库-Xorbits模型平台搭建【Xinference】

已于 2024-09-24 14:46:13 修改
阅读量2k 收藏 18
点赞数 16
分类专栏： Windows本地搭建知识库 文章标签： 语言模型 知识图谱
于 2024-09-20 16:36:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38546915/article/details/142388071
版权

Xorbits模型平台搭建-目录

Windows本地部署知识库-Xorbits模型平台搭建【Xinference】

Xinference功能介绍

简介

Xorbits Inference (Xinference)是一个开源平台，用于简化各种AI模型的运行和集成。借助 Xinference，您可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的AI应用。

特点

  1. 多模型：提供50多个开源模型，从文本生成到图像生成，始终保持行业前沿。
  2. 多硬件：支持多种硬件平台，按需部署。
  3. 可定制：根据自己的需求和数据进行模型微调，提升模型在特点业务场景下的效果。
  4. 低门槛：支持一体机/云端部署等多种部署模式，降低运维成本。
  5. 分布式：原生分布式架构，可轻松水平扩展集群，支持负载均衡与容错。
  6. 极致性能：高效适配底层硬件，使用vLLM和投机采样等优化技术，大幅提升推理吞吐，降低API延迟。

主要应用

  1. 文生图：部署Stable Diffusion模型，使用AI绘图软件提升设计效率。
  2. 代码生成：通过开源智能代码编程助手，帮助开发人员提高编码效率和质量。
  3. 企业知识库：基于开源LLMOps工具和编程框架，开发者可以更快速地构建AI原生知识应用。
  4. AI应用框架：使用LangChain和LlamaIndex提供的接口，轻松构建AI应用。

Xinference本地源码运行

使用Git克隆源码到本地

打开本地代码存储目录，鼠标右键Git Bash Here打开Git命令窗口，输入一下命令将源代码克

最低0.47元/天 解锁文章
Xorbits Inference比Ollama更强大的模型部署与推理框架
weixin_44455388的博客
03-26 2815
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
本地部署知识库——大模型框架xinference的本地架设
lxszyj的博客
06-27 5675
断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）
xinference实战-windows环境下安装xinference
AI agent
03-06 876
指导在windows环境下安装xinference
Xinference本地部署GPU模型：Window + Cuda + pytorch环境
nanamxw的博客
02-17 1370
Anoconda的安装步骤及环境配置另外查找，此处不作额外说明。原本中pytorch安装指令为： 根据本机配置改为： 为使xinference能够争取识别到GPU，需要对系统环境变量修改： 其中，0是集显，1才是我的独显，在运行模型时，GPU ids选择1才是使用独显运行模型。xinference-local --host 127.0.0.1 --port 9997
Windows下安装部署Xinference
最新发布
slient_love的博客
03-28 1608
chatglm_cpp 可能需要一些 C++ 编译工具，特别是 Windows 系统上。启动，应使用 IP。将下载后的zip文件解压，并打开刚装好的conda。以下两个，打开哪个都可以。删除原先内容，进行以下配置。下载完成之后双击运行.exe文件，然后无脑下一步就行。系统变量，新建以下几条：（根据实际安装路径进行配置）命令，验证是否配置成功。环境创建成功后，需要在新建的xinf环境下安装。可能会报以下错误，原因是启动命令使用的是。安装完成之后，进行系统环境变量配置。命令，我们就可以看到修改后的配置。
Windows 安装 Xinference
engchina的专栏
03-08 7537
Windows 安装 Xinference
Windows下安装配置Xinference指南
大白菜代码的博客
12-25 3823
Xinference 是一个强大且可扩展的本地推理服务器，具有以下特点： 支持多种类型模型的部署和服务（LLM、嵌入、图像等） 提供统一的 RESTful API 和 Python SDK 支持模型量化和优化 可以在本地运行开源模型 支持多种推理后端（PyTorch、ONNX等）
Windows本地部署Xorbits Inference模型平台【Xinference】亲测
ocean00008899的博客
03-27 952
简介Xorbits Inference (Xinference)是一个开源平台，用于简化各种AI模型的运行和集成。借助 Xinference，您可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的AI应用。特点多模型：提供50多个开源模型，从文本生成到图像生成，始终保持行业前沿。多硬件：支持多种硬件平台，按需部署。可定制：根据自己的需求和数据进行模型微调，提升模型在特点业务场景下的效果。低门槛：支持一体机/云端部署等多种部署模式，降低运维成本。
【亲测】Windows 11通过Docker安装Xinference 平台
热门推荐
08-11 1万+
这里简单介绍一下操作页面，界面很简单，基本都能看懂，需要什么模型，去到对应的模型库里面下载即可。以上就是 Windows11 通过 Docker 部署Xinference 平台的操作步骤。关于上面显卡没办法升级的问题，还没解决，如果有会的小伙伴，欢迎交流。maxkb 对接。
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
使用Dify+Xinference构建RAG知识库
ly_cyz的专栏
09-04 3095
RAG采用Dify+Xinference来构建，使用Dify大家知识库和工作流，Xinference部署LLM模型+Embedding模型+Rerank模型。
一个采用 NVIDIA GPU + Xinference + MaxKB搭建企业级、私有化、高性能智能知识库问答系统的开源方案！
2401_84208172的博客
11-13 2075
在过去近两年中，AI发展速度超过任何历史时期，基于大模型的各类应用已经渗透到了各行各业中，很多企业都在积极探索如何利用大模型提高公司运营管理的能效。正如阿里云 CTO 周靖人所说““当下企业应用大模型存在三种范式：一是对大模型开箱即用，二是对大模型进行微调和持续训练，三是基于模型开发应用，其中最典型的需求是RAG从市场效应来看，基于RAG的企业智能知识库问答系统也是目前最为广泛的大模型应用之一。RAG：Retrieval-Augmented Generation，翻译成中文是检索增强生成。
【LLM大模型】2024开源项目汇总_dify chat2sql
2401_85773359的博客
08-08 2459
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发对比说明可参考：开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。2.2 FastGPT：一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。
windows wsl2（ubuntu）使用xinference快速部署ai模型
m0_61069946的博客
03-26 3034
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
WSL2如何部署 Xinference
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
05-01 1481
WSL2。
【大模型】Xinference的安装和部署
magic_ll的博客
12-29 9847
Xinference通过提供简单API和强大的功能，使得私有化模型的大规模部署成为可能，无论是在个人电脑还是分布式集群中，都能够发挥异构硬件的全部潜力，达到最极致的吞吐量与最低的推理延迟。：Xinference简化了包括大语言模型、多模态模型、语音识别模型等模型部署的过程，允许用户轻松一键部署自己的模型或内置的前沿开源模型。：Xinference专注于优化模型的推理性能，并支持多种类型的模型，包括深度学习模型。如下图，待参数设置OK后，点击小火箭，则下载模型和加载模型，模型下载到默认路径。
Xorbits Inference（Xinference）：一款性能强大且功能全面的大模型部署与分布式推理框架
积跬步，至千里。
09-13 3669
Xinference是一个性能强大且功能全面的分布式推理框架。可用于大语言模型，语音识别模型，多模态模型等各种模型的推理。通过Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。
Win11本地部署xinference
1937
05-29 3232
在win11环境下，利用Anaconda的方式安装xinference，在本地运行
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy O‘Connor

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值