快速上手：如何在国内轻松访问HuggingFace并部署Xinference

最新推荐文章于 2025-03-20 13:39:57 发布

灬囖

最新推荐文章于 2025-03-20 13:39:57 发布

阅读量5.7k

点赞数 9

分类专栏： MaxKB 文章标签：大模型 Maxkb RAG maxkb HuggingFace xinference

本文链接：https://blog.csdn.net/hao65103940/article/details/143331279

版权

MaxKB 专栏收录该内容

14 篇文章

订阅专栏

🌟 引言

在AI开发领域，HuggingFace是不可或缺的资源宝库。但在国内，访问HuggingFace有时会遇到网络障碍。本文将分享如何通过设置环境变量和部署Xinference来解决这一问题，让您的开发之路畅通无阻！

🛠️ 环境变量设置

1. HuggingFace 镜像网站设置

国内访问HuggingFace时，我们可以通过设置环境变量来指定镜像网站，从而绕过网络限制。以下是具体操作：

export HF_ENDPOINT=https://hf-mirror.com

此命令将HuggingFace的请求重定向到国内镜像网站，有效提升访问速度。

2. 魔塔（ModelScope）访问设置

除了HuggingFace，您可能还需要访问魔塔（ModelScope）。通过以下环境变量设置，可以指定模型源：

export XINFERENCE_MODEL_SRC=modelscope

这确保了即使在网络受限的情况下，也能顺利加载模型。

🚀 Linux环境下Xinference部署与启动

1. 部署启动命令

在Linux环境下，我们可以通过以下Docker命令快速部署并启动Xinference：

sudo docker run \
  --name xinference -d \
  -v ~/.xinference:/root/.xinference \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -v ~/.cache/modelscope:/root/.cache/modelscope \
  -v /etc/localtime:/etc/localtime \
  -p 9997:9997 \
  --gpus all \
  -e HF_ENDPOINT=https://hf-mirror.com \
  -e XINFERENCE_MODEL_SRC=modelscope \
  registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:latest \
  xinference-local -H 0.0.0.0

2. 参数详解

--name xinference：为容器指定名称。
-d：让容器在后台运行。
-v：挂载宿主机目录到容器，用于数据持久化。
-p 9997:9997：将容器端口映射到宿主机，便于访问。
--gpus all：分配所有GPU资源给容器，提升计算能力。
-e：设置环境变量，确保正确访问HuggingFace和魔塔。
registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:latest：指定使用的Xinference镜像。