240713-Xinference模型下载、管理及测试

已于 2024-07-13 12:21:27 修改
阅读量7.3k 收藏 13
点赞数 3
分类专栏： Xinference LLM 文章标签： Xinference LLM 大模型 ui
于 2024-07-13 11:53:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33039859/article/details/140396941
版权

Step 1. 安装Xinference

Step 2. 下载模型

方式1: UI界面下载
  • 命令行启动Xinference：
xinference-local --host 0.0.0.0 --port 9997
方式2: 命令行下载
  • 命令行启动Xinference：
xinference-local --host 0.0.0.0 --port 9997
  • 以chatglm3-6B为例，下载并启动模型：
xinference launch --model-engine vLLM --model-name chatglm3 --size-in-billions 6 --model-format pytorch --quantization none
  • 下图，右边和左边分别是启动及下载的Bash命令，可以看到，在执行左边的命令的时候，右边可以显示下载的状态
    在这里插入图片描述

Step 3. 模型路径

  • Xinference设置的软链接

    • 模型默认的链接路径在~/.xinference/cache对应的文件夹中
    • 模型的实际下载路径则在~/.cache对应的文件夹中

  • 注意：在~/.xinference/cache/model_name中，多了一个__valid_download的文件

  • 该文件的内容包含如下，可能是用于后台检测，模型是否已经有效下载

{"model_type": "LLM", "address": null, "accelerators": null, "model_name": "chatglm3", "model_lang": ["en", "zh"], "model_ability": ["chat", "tools"], "model_description": "ChatGLM3 is the third generation of ChatGLM, still open-source and trained on Chinese and English data.", "model_format": "pytorch", "model_size_in_billions": 6, "model_family": "chatglm3", "quantization": "none", "model_hub": "huggingface", "revision": "103caa40027ebfd8450289ca2f278eac4ff26405", "context_length": 8192}(xinference)

在这里插入图片描述

Step 4. 模型使用

  • 登录：http://localhost:9997/ui/#/running_models/LLM
  • 点击：右侧红框按钮
  • 弹出：下图对话界面，可直接使用
    在这里插入图片描述

在这里插入图片描述

Step 5: 自行下载模型及使用的方法测试

ln -s ~/Downloads/chatglm3-6b ~/.xinference/cache/chatglm3-pytorch-6b
  • 复制有效下载的文件，注意这里我更新了xinference下载模型的名字chatglm3-pytorch-6b-raw
cp ~/.xinference/cache/chatglm3-pytorch-6b-raw/__valid_download ~/.xinference/cache/chatglm3-pytorch-6b/__valid_download
  • 进行完上述操作后，重复执行Step 2中的操作，可以直接到Step 3的内容，无需下载模型

Step 6：这里有两个问题还需要解决：

  • 如何根据模型文件的命名规则，设置软链接？ln -s ~/Downloads/chatglm3-6b ~/.xinference/cache/chatglm3-pytorch-6b
  • 如何撰写__valid_download文件？如果没有这个文件，Xinference在执行下述命令后，似乎还是会继续默认的下载
xinference launch --model-engine vLLM --model-name chatglm3 --size-in-billions 6 --model-format pytorch --quantization none

问题整理

1. GLM4使用报错

参考文献

使用 Xinference 部署本地模型
洛阳泰山的博客
04-24 7627
是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
12、xinference部署与自定义模型
Andy_shenzl的博客
09-12 2579
官网：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html。在xinference界面选择注册模型–>embedding模型，根据实际的参数进行填写，主要是路径要写对。记住下载文件的路径，可以在代码中进行设置自定义的路径。下载一个本地的模型，可以在魔塔社区进行下载。我们以embedding模型为例测试。安装后重新注册并launch。如果报错，需要去安装依赖包。
xinference服务器部署下载模型启动
weixin_45515807的博客
09-02 1917
2.这里面缺个包,我的版本是linux 3.11的包的名字叫这个llama_cpp_python-0.2.85-cp311-cp311-linux_x86_64 (1).whl。具体版本根据自己的下载:https://github.com/abetlen/llama-cpp-python/releases/tag/v0.2.85-cu121。前言:之前部署智普 qwen模型都是本地部署的.这里给大家推荐个xinference,具体可以搜一下科普一下.好处是体验语言模型,向量模型更简单方便了.
在本地安装和部署 Xinference，并下载对应的模型
萧鼎的博客
03-04 2354
本文详细介绍了如何在 Windows 和 Linux 上安装和部署 Xinference，并下载对应的模型进行推理。Xinference 提供了 API 接口，支持文本生成、图像分类等多种任务，同时可以通过 GPU 加速或在 Jetson Nano 上运行，适用于边缘计算场景。希望这篇文章能帮助你快速上手 Xinference，如果有任何问题，欢迎交流！
Xinference+Dify本地部署全攻略：知识库搭建与模型配置详解(附一键安装包)
最新发布
apo0625的博客
03-09 3427
不需要再去下载docker镜像，只需要点击Xinference.exe 即可启动xinference服务 且已经包含离线embedding+rerank模型，无需担心网络问题下载失败
使用X inference下载部署小模型（qwen1.5）测试效果
Angus
05-03 1400
我的环境是mac m2 32G ，没办法用GPU。这是X inference的安装教程。这里是mac部署2B的教程。还有测试推理的效果，速度
使用xinference下载模型
wyh_111的专栏
10-23 187
使用xinference。
Mac M2 本地下载 Xinference
Angus
05-01 2959
想要在Mac M2 上部署一个本地的模型。看到了这个工具Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。本地部署参考了这两个文档部署文档部署文档。
【大模型】Xinference的安装和部署
magic_ll的博客
12-29 9791
Xinference通过提供简单API和强大的功能，使得私有化模型的大规模部署成为可能，无论是在个人电脑还是分布式集群中，都能够发挥异构硬件的全部潜力，达到最极致的吞吐量与最低的推理延迟。：Xinference简化了包括大语言模型、多模态模型、语音识别模型等模型部署的过程，允许用户轻松一键部署自己的模型或内置的前沿开源模型。：Xinference专注于优化模型的推理性能，并支持多种类型的模型，包括深度学习模型。如下图，待参数设置OK后，点击小火箭，则下载模型和加载模型，模型下载到默认路径。
xinference 环境问题
09-25
1. Python包版本管理：文档列出了众多Python库及其特定版本号，如`accelerate==0.34.2`和`aiofiles==23.2.1`。这意味着这些库在"xinference环境问题"中被引用或依赖。 2. 网络编程与异步I/O：列出了多个处理网络...
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
xinference 下载模型
03-08
### 如何下载 Xinference 模型 为了成功下载并部署 Xinference 模型，特别是针对网络环境优化后的操作流程如下： 对于因网络原因无法通过默认设置从 Hugging Face 下载模型的情况，可以更改为国内的 ModelScope ...
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 6666
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
【人工智能】Xinference，用户可以轻松地一键下载和部署内置的各种前沿开源模型，使得本地模型部署变得非常简单。
本本本添哥
01-23 261
Xinference（https://github.com/xorbitsai/inference） 使得本地模型部署变得非常简单。用户可以轻松地一键下载和部署内置的各种前沿开源模型，例如 Llama 2（https://ai.meta.com/llama/）、chatglm2、通义千问等。为了让使用 OpenAI API 的用户能够无缝迁移，Xinference 提供了与 OpenAI 兼容的 RESTful 接口。
Centos上用Xinference部署大模型！
Q794469的博客
05-23 1467
【代码】用Xinference本地部署大模型！
Xinference安装及部署大模型
热门推荐
vvc_a的博客
08-14 1万+
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用，简单的讲就是部署大模型的应用，至于场景嘛，就是当我们自己使用本地模型的时候，切换起来方便。
推理框架 Xinference和大模型部署（ChatGLM为例）
weixin_52514174的博客
07-04 9469
​ Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GuokLiu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值