大模型侧工具安装部署实践

最新推荐文章于 2024-07-06 22:06:16 发布
最新推荐文章于 2024-07-06 22:06:16 发布
阅读量1.5k 收藏 25
点赞数 19
文章标签： AIGC AI编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44373268/article/details/139626842
版权

大模型侧工具安装部署实践

这里首先介绍的是大模型侧的工具安装部署实践，至于为什么先提大模型侧后提知识库侧呢？这是因为大模型通常是知识库操作和应用的基础与核心，是提供智能决策的引擎。它们构建了理解和生成文本、图像、语音等多模态反应的基础能力，是整个智能应用的心脏，同时，由于这次主题是本地大模型个人知识库，所以大模型的安装、配置、优化和部署是首要步骤，也是确保知识库工具能够顺畅运行的基石。

随后才转到知识库侧，是因为知识库是大模型应用的扩展和优化层，它们是模型与业务场景的桥梁。知识库如RAG集成，使得模型能精准定位和检索增强生成，通过文档、上下文理解，提高交互式问答等。知识库通过索引申明确定模型的实用性，让模型能够更贴近业务需求，提升用户体验，如MaxKB、Open WebUI等工具提供了直接上传、管理文档、集成知识，使得模型与业务系统无缝对接。因此，知识库是大模型的补充，提升模型在具体应用中发挥价值的关键，所以放在模型之后介绍。

简而言，先模型侧，后知识库，是按照技术实施的逻辑顺序，从基础架构到应用优化，确保理解模型部署到业务场景的深入，逐步构建出高效、用户友好的智能系统。

Ollama部署

Windows部署Ollama

首先，访问Ollama官网（点此到达）。

image.png

点击下载，选择适配自己电脑的版本。

image.png

Windows下载完之后电脑也没弹出快捷启动方式啥的，不知道是不是bug，我这里一般是点击缩略符进到日志目录下，再右键打开终端。

image.png

image.png

再回到Ollama官网，点击右上角的Models。

image.png

可以看到诸多模型如下：

image.png
image.png

我们点击llama3，可以看到如下界面：

image.png

点击latest，可以选择模型的类型，笔记本运行建议8b，服务器可以选择70b（作者笔记本显卡为RTX4070）。

image.png

点击复制按钮，粘贴命令行到终端框，执行即可。

ollama run llama3:8b

image.png
image.png

安装好后如下所示：

image.png

image.png

当然，在Windows环境下其实也可以采用docker来部署Ollama，但是我这里并未提及，一点是因为配置过程稍微麻烦，第二是因为在windows中部署docker会对电脑性能有一定的折损，有Linux操作基础的小伙伴没有必要进行该尝试，直接看下面的Linux部署部分内容就可以了。

Linux部署Ollama

在Linux环境下，部署Ollama也仅仅只需一条命令。前期基础虚拟机搭建可以参看我以前的文章，Linux虚拟机安装操作。

进入虚拟机后，打开命令行，输入

curl -fsSL https://ollama.com/install.sh | sh

此时会提示需要更新包。

image.png

执行如下命令更新包：

sudo apt install curl

更新完毕后再次执行，开始部署并启动Ollama：

image.png

在这个过程中，极有可能出现超时的情况，需要修改hosts文件，直接将** http://github.com** 做个ip指向，进入如下编辑页面：

sudo vim /etc/hosts

进入后，增加如下配置:

# github 注意下面的IP地址和域名之间有一个空格
140.82.114.3 github.com
199.232.69.194 github.global.ssl.fastly.net
185.199.108.153 assets-cdn.github.com
185.199.109.153 assets-cdn.github.com
185.199.110.153 assets-cdn.github.com
185.199.111.153 assets-cdn.github.com

再次尝试，就不会直接出现超时的情况了，但是由于是国内环境，速度依然不是很理想。

在Ollama安装完成后， 一般会自动启动 Ollama 服务，而且会自动设置为开机自启动，然后这里我直接运行一个千问模型，可以看到运行成功。

image.png

除了直接部署之外，也支持采用docker的方式来部署，作者这里也推荐使用这种方式。

首先是安装 docker 和 docker-compose

sudo apt install docker.io
sudo apt-get install docker-compose
sudo usermod -aG docker $USER
sudo systemctl daemon-reload
sudo systemctl restart docker

image.png

然后配置国内 docker 镜像源，修改/etc/docker/daemon.json，增加以下配置：

{
  "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com"
  ]
}

配置好以后重启docker。

sudo systemctl daemon-reload
sudo systemctl restart docker

拉取镜像

docker pull ollama/ollama

image.png

在docker下，也有几种不同的启动模式（对应路径请按照实际情况更改）：

CPU模式

docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU模式（需要有NVIDIA显卡支持）

docker run --gpus all -d -v /data/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

docker部署ollama web ui

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

比如我采用CPU模式启动：

image.png

在浏览器中可以通过 服务器IP:11434 来进行访问查看 , 如下所示则是正常启动 。

image.png

然后运行模型：

docker exec -it ollama ollama run llama3

image.png

安装完成后正常体验即可，如果觉得命令行不好看，也可以尝试上面的Web-UI部署。

Ollama使用技巧

模型更换存储路径

在windows系统中下载时，很不科学的一点就是默认使用C盘来存放模型文件，本来C盘就不够用，这一下载模型少说七八个GB就没了。但是莫慌，我们可以通过修改环境变量来设置指定模型的目录位置。

【电脑】——>右键【属性】——>【高级系统设置】——>【高级】——>【环境变量】

image.png
image.png

我们通过设置环境变量（OLLAMA_MODELS）来指定模型目录，可以通过系统设置里来配置环境变量（系统变量或者用户变量）

image.png
image.png

而在Linux系统中，默认地址是~/.ollama/models， 如果想移到别的目录，同样也是设置环境变量OLLAMA_MODELS：

export OLLAMA_MODELS=/data/ollama
导出某个模型

这里以 llama3:8b为例，先查看模型信息：

ollama show --modelfile llama3:8b

image.png

从模型文件信息里得知 /xxx/xxx/xxx/xxx/xxx/sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29 即为我们想要的llama3:8b （格式为gguf），导出代码如下：

Linux系统中

cp /xxx/xxx/xxx/xxx/xxx/sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29

Windows系统中

copy /xxx/xxx/xxx/xxx/xxx/sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
导入某个模型

比如我们选择个链接 https://hf-mirror.com/brittlewis12/Octopus-v2-GGUF/tree/main 下载octopus-v2.Q8_0.gguf

准备Modelfile文件

From /path/to/qwen_7b.gguf

是最简单的办法 当然可以从上面模型信息生成完成版本的Modelfile

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM qwen:7b

FROM /path/to/qwen_7b.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "\"<|im_end|>\""

记得替换你的模型的完整路径 另外不同模型的template 和 stop parameter不同，这个不知道就不写，或者网上搜索 然后执行：

ollama create qwen:7b -f Modelfile

导入模型的时候，至少确保硬盘可用空间在模型大小的2倍以上。

小结

通过以上实际部署及使用操作体验情况来看，我只能说无怪Ollama最近爆火，它是真正击中了众多开发者的心（包括我），轻松点击几下鼠标就可以完成本地模型的部署，这种“即插即用”的模式，彻底改变了以往需要深厚技术背景才能涉足的大型语言模型应用领域，让更多创意和项目得以孵化。除此之外，它也提供了丰富的模型选择，Ollama里支持的模型库达到了92种，涵盖了从基础研究到行业应用的广泛需求，甚至最新的qwen2也在其中。

image.png

而在使用上，Ollama虽然没有直接提供可视化一键拉取模型的方式，但是由于其命令简明，手册清晰，所以我觉得这点也是可以接受的。

总的来概括一下，Ollama确确实实是一个部署模型便捷、模型资源丰富、可扩展性强的大模型侧的工具，截止至2024年6月8日，我仍然认为它是部署本地大模型的不二之选。

LM Studio部署

Windows部署LM Studio

进入LM Studio官网，需要加载一分钟左右，点击【Download LM Studio for Windows】：

image.png

这个下载速度属实给我干沉默了：

image.png

好不容易下载完了，这边我也给出百度云的资源，避免小伙伴们走弯路:

链接：https://pan.baidu.com/s/1UZvxkmHuCSWBpnQ2EYje0A
提取码：nigo

image.png

点击可以直接启动，界面如下：

  • Home：主屏幕区，后面推荐各类大模型

  • Search：搜索下载各类大模型。

  • AI Chat：模型对话区

  • Multi Model：多模型对话，显存要大24G+。

  • Local Server：创建web服务

  • My Models：已下载模型和文档设置

image.png

先来到文件夹这里，把模型的下载路径换到D盘下面：

image.png

这里必须在D盘下创建该目录结构：

D:\models\Publisher\Repository

但在点击 Change 时，自定义路径选择到 /models 层即可。

image.png
image.png

在主界面中直接下拉，可浏览各种大语言模型，选择download 按钮可直接下载，但是部分模型可能需要科学上网才能下载：

image.png

同时，在搜索栏中也可以直接搜索想要下载的模型：

result.png

当模型下载完后，可以在左边菜单栏选择chat图标，然后选择模型（下载之后的模型会在下拉列表中），如下图：

image.png

直接输入你想要提问的问题，和模型进行对话

image.png

当然，LM 同样也支持在本地以Server的形式提供API接口服务，这意味着可以把大语言模型做为一个后端服务来进行调用，前端可以包装任意面向业务的功能。

image.png

Linux部署LM Studio

进入LM Studio官网，点击【Download LM Studio for Linux】，不过这里似乎只支持Beta版本的，查了一下文档，只适配Linux (x86, Ubuntu 22.04, AVX2)，其他Linux系统可能会出现兼容性问题：

image.png

又是漫长的等待。。。结果下了一多个小时还是没有下完。。。中途还提示一次Failed，晕。。

image.png

本来还是想秉持着探索精神去尝试的，但是无奈真的被科学上网劝退了，至于Linux下的安装和启动方式，在Ubuntu里也是可以通过可视化的方式去操作的，所以与上述Windows差别不大，这里暂且略过吧，如有兴趣的小伙伴可以挂梯子去尝试下载安装部署。

LM Studio本地大模型下载设置

通过上述实践我们也可以看到，不管是LM Studio工具本身的下载还是内置大模型的下载，其实都是需要翻墙的，没有办法在日常网络环境中直接快速使用，但是，我们仍然可以通过其他的方式来下载大模型并导入到LM Studio中使用。

下面提供两种方案：

  • 从国内的模型站下载，魔塔社区：ModelScope魔搭社区 。

  • 使用VScode修改 huggingface.co链接替换为国内镜像 hf-mirror.com就可以查找下载大模型镜像。

从魔塔社区下载

进入魔塔社区：ModelScope魔搭社区。

模型下载好之后，复制到目录所在位置即可在下方识别出来：

image.png

修改js文件中的默认下载路径

进入目录，如下所示：

image.png

右键app-0.2.23，使用VS Code打开，然后把里面的huggingface.co链接替换为hf-mirror.com：

image.png

再次重启LM Studio，就可以搜索下载LLM大模型了。

image.png
image.png

小结

如果从工具本身的能力出发，我认为这款工具是强于Ollama的。首先说一下模型数量，LM Studio内部模型下载的主要来源是Hugging Face Hub，模型数量非常多，即便是对比Ollama的话整体数量也是偏多的。

第二点就是我个人非常喜欢的可视化界面以及模型对话时的负载设置。

相比于Ollama，LM Studio提供了更直观易用的界面，点击下载按钮即可一键进行模型的安装部署。

同时在模型负载设置这一块，LM Studio也做的更好，比如：正常来说默认是计算机的CPU完成所有工作，但如果安装了GPU，将在这里看到它。如果GPU显存不够，就可以将GPU想要处理多少层(从10-20开始)进行设置，然后这一部分层就会使用GPU处理了，这与llama.cpp的参数是一样的。还可以选择增加LLM使用的CPU线程数。默认值是4。这个也是需要根据本地计算机进行设置。

cb6db21c-77b4-42bf-9b66-088e0ccc8716.jpg

唯一美中不足的，就是需要科学上网才能下载该工具和工具内模型，不过通过上述换源的方式，这一问题也算得以解决。

整体对比，LM Studio和Ollama是各有千秋：

  • 从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。

  • 从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。

所以我这里也斗胆得出如下结论：

  • LM Studio更适合那些寻求快速原型设计、多样化实验以及需要高效模型管理的开发者和研究人员。

  • Ollama更适合那些偏好轻量级解决方案、重视快速启动和执行效率的用户，适合小型项目或对环境要求不复杂的应用场景。

Xinference

Xinference 支持两种方式的安装，一种是使用 Docker 镜像安装，另外一种是直接本地源码进行安装。个人建议，如果在windows环境中最好采用源码安装，Linux环境中可以采用Docker来安装。

Windows 安装 Xinference

首先我们需要准备一个 3.9 以上的 Python 环境运行来 Xinference，建议先根据 conda 官网文档安装 conda。 然后使用以下命令来创建 3.11 的 Python 环境：

conda create --name xinference python=3.10
conda activate xinference

安装 pytorch

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

安装 llama_cpp_python

pip install https://github.com/abetlen/llama-cpp-python/releases/download/v0.2.55/llama_cpp_python-0.2.55-cp310-cp310-win_amd64.whl

安装 chatglm-cpp

pip install https://github.com/li-plus/chatglm.cpp/releases/download/v0.3.1/chatglm_cpp-0.3.1-cp310-cp310-win_amd64.whl

安装 Xinference

pip install "xinference[all]"

如有需要，也可以安装 Transformers 和 vLLM 作为 Xinference 的推理引擎后端（可选）：

pip install "xinference[transformers]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "xinference[vllm]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "xinference[transformers,vllm]" # 同时安装
#或者一次安装所有的推理后端引擎
pip install "xinference[all]"  -i https://pypi.tuna.tsinghua.edu.cn/simple

设置 model 路径

在电脑上设置环境变量，路径请根据各自环境修改。

XINFERENCE_HOME=D:\XinferenceCache

不过同样，这里也面临着科学上网的问题，Xinference 模型下载缺省是从Huggingface官方网站下载 https://huggingface.co/models 。在国内因为网络原因，可以通过下面的环境变量设计为其它镜像网站：

HF_ENDPOINT=https://hf-mirror.com.

或者直接设置为：ModelScope:

通过环境变量"XINFERENCE_MODEL_SRC"设置。

XINFERENCE_MODEL_SRC=modelscope.

另外，可以通过环境变量XINFERENCE_HOME设置运行时缓存文件主目录。

export  HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/jppeng/app/xinference
可以设置环境变量，临时启作用，或者设置在用户环境变量中，登陆即自动生效。

启动 Xinference

xinference-local -H 0.0.0.0或<your_ip>

Xinference 默认会在本地启动服务，端口默认为 9997。因为这里配置了-H 0.0.0.0参数，非本地客户端也可以通过机器的 IP 地址来访问 Xinference 服务。

启动成功后，我们可以通过地址 http://localhost:9777 来访问 Xinference 的 WebGUI 界面了。

result.png

打开“Launch Model”标签，搜索到 Yi-chat，选择模型启动的相关参数，然后点击模型卡片左下方的小火箭 按钮，就可以部署该模型到 Xinference。 默认 Model UID 是 Yi-chat（后续通过将通过这个 ID 来访问模型）。

image.png

当第一次启动 Yi-chat 模型时，Xinference 会从 HuggingFace 下载模型参数，大概需要几分钟的时间。Xinference 将模型文件缓存在本地，这样之后启动时就不需要重新下载了。

image.png

点击该下载好的模型。

result (1).png

运行成功后，在 “Running Models” 页面可以查看。

image.png

Linux 安装 Xinference

在Linux下个人更推荐docker安装，这里需要准备两个前提，确保机器上已经安装了 Docker 和 CUDA。

docker一键安装 Xinference 服务。

docker pull xprobe/xinference:latest

image.png

docker启动 Xinference 服务

docker run -it --name xinference -d -p 9997:9997 -e XINFERENCE_MODEL_SRC=modelscope -e XINFERENCE_HOME=/workspace -v /yourworkspace/Xinference:/workspace  --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

  • -e XINFERENCE_MODEL_SRC=modelscope：指定模型源为modelscope，默认为hf

  • -e XINFERENCE_HOME=/workspace：指定docker容器内部xinference的根目录

  • -v /yourworkspace/Xinference:/workspace：指定本地目录与docker容器内xinference根目录进行映射

  • –gpus all：开放宿主机全部GPU给container使用

  • xprobe/xinference:latest：拉取dockerhub内xprobe发行商xinference项目的最新版本

  • xinference-local -H 0.0.0.0：container部署完成后执行该命令

部署完成后访问IP：9997即可。

image.png

Xinference使用

Xinference接口

在 Xinference 服务部署好的时候，WebGUI 界面和 API 接口已经同时准备好了，在浏览器中访问http://localhost:9997/docs/就可以看到 API 接口列表。

image.png

接口列表中包含了大量的接口，不仅有 LLM 模型的接口，还有其他模型（比如 Embedding 或 Rerank ）的接口，而且这些都是兼容 OpenAI API 的接口。以 LLM 的聊天功能为例，我们使用 Curl 工具来调用其接口，示例如下：

curl -X 'POST' \
  'http://localhost:9997/v1/chat/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "chatglm3",
    "messages": [
      {
        "role": "user",
        "content": "hello"
      }
    ]
  }'

# 返回结果
{
  "model": "chatglm3",
  "object": "chat.completion",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Hello! How can I help you today?",
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 29,
    "completion_tokens": 37
  }
}
Xinference多模态模型

多模态模型是指可以识别图片的 LLM 模型，部署方式与 LLM 模型类似。

首先选择Launch Model菜单，在LANGUAGE MODELS标签下的模型过滤器Model Ability中选择vl-chat，可以看到目前支持的 2 个多模态模型：

image.png

选择qwen-vl-chat这个模型进行部署，部署参数的选择和之前的 LLM 模型类似，选择好参数后，同样点击左边的火箭图标按钮进行部署，部署完成后会自动进入Running Models菜单，显示如下：

image.png

点击图中Launch Web UI的按钮，浏览器会弹出多模态模型的 Web 界面，在这个界面中，你可以使用图片和文字与多模态模型进行对话，界面如下：

image.png

XinferenceEmbedding 模型

Embedding 模型是用来将文本转换为向量的模型，使用 Xinference 部署的话更加简单，只需要在Launch Model菜单中选择Embedding标签，然后选择相应模型，不像 LLM 模型一样需要选择参数，只需直接部署模型即可，这里我们选择部署bge-base-en-v1.5这个 Embedding 模型。

image.png
image.png

我们通过 Curl 命令调用 API 接口来验证部署好的 Embedding 模型:

curl -X 'POST' \
  'http://localhost:9997/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "bge-base-en-v1.5",
  "input": "hello"
}'

# 显示结果
{
  "object": "list",
  "model": "bge-base-en-v1.5-1-0",
  "data": [
    {
      "index": 0,
      "object": "embedding",
      "embedding": [0.0007792398682795465, …]
    }
  ],
  "usage": {
    "prompt_tokens": 37,
    "total_tokens": 37
  }
}
Xinference Rerank 模型

Rerank 模型是用来对文本进行排序的模型，使用 Xinference 部署的话也很简单，方法和 Embedding 模型类似，部署步骤如下图所示，这里我们选择部署bge-reranker-base这个 Rerank 模型：

image.png
image.png

curl -X 'POST' \
  'http://localhost:9997/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "bge-reranker-base",
  "query": "What is Deep Learning?",
  "documents": [
    "Deep Learning is ...",
    "hello"
  ]
}'

# 显示结果
{
  "id": "88177e80-cbeb-11ee-bfe5-0242ac110007",
  "results": [
    {
      "index": 0,
      "relevance_score": 0.9165927171707153,
      "document": null
    },
    {
      "index": 1,
      "relevance_score": 0.00003880404983647168,
      "document": null
    }
  ]
}
Xinference 注意事项

Xinference 默认是从 HuggingFace 上下载模型，如果需要使用其他网站下载模型，可以通过设置环境变量XINFERENCE_MODEL_SRC来实现，使用以下代码启动 Xinference 服务后，部署模型时会从Modelscope上下载模型：

XINFERENCE_MODEL_SRC=modelscope xinference-local

在 Xinference 部署模型的过程中，如果你的服务器只有一个 GPU，那么你只能部署一个 LLM 模型或多模态模型或图像模型或语音模型，因为目前 Xinference 在部署这几种模型时只实现了一个模型独占一个 GPU 的方式，如果你想在一个 GPU 上同时部署多个以上模型，就会遇到这个错误：No available slot found for the model。

但如果是 Embedding 或者 Rerank 模型的话则没有这个限制，可以在同一个 GPU 上部署多个模型。

小结

Xinference在基础配置功能上也是毫不含糊，相比于LM studio的界面更加简洁清爽，在模型库方面同样也是下载自Hugging Face Hub，同样也是需要科学上网或者修改下载源。

但有两个比较大的优势就是：Xinference的显存管理能力还比较好，服务挂掉可以自动重启，具有较高的稳定性。其次是支持集群模式部署，可以保证大模型的高可用。

大模型侧工具安装部署总结

由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！

文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。

就这三个工具而言，确实也是各有千秋：

  • 从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。

  • 从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。

  • 从企业级稳定性和高可用来看，Xinference支持分布式部署，并且可以故障自动拉起。

image.png

【注】：评分标准为1-5分，5分为最高。

对于AI小白来说（完全不懂AI，不知道大模型是什么具体含义，完全不知道怎么下载模型），选择Ollama来管理和下载模型是保证没有问题的，体验感确实拉满了。

对于一些开发者和研究员而言，我觉得可以在LM Studio和Xinference中任选其一，如果是个人实验的话，我倾向于推荐LM Studio；如果是企业级内部或者中大型项目需要的话，我建议还是采用Xinference。

除了上述提到的之外可能也还有一些比较好用的大模型管理工具是周周没有接触过的，也请小伙伴们积极指出~

随着AI技术的飞速发展，新的工具和服务也会不断涌现，本文截止至2024年6月9日，请各位选择最适合自己需求的工具，这将有助于提升工作效率，推动项目的成功。

记住，没有绝对最好，只有最适合当前情境的工具。

周周的奇妙编程
关注
  • 19
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大模型-大模型部署基础认知视频
03-16
通过学习“大模型-大模型部署基础认知”这一视频课程，你将了解到如何应对大模型部署中的各种挑战，从而更好地将这些强大的工具应用于实际业务场景，提高产品和服务的质量和效率。同时，了解并实践这些知识，也将有...
深度学习实践-模型部署优化实践
07-30
本实践主要关注如何将深度学习模型，特别是YOLO（You Only Look Once）模型，部署到生产环境中，并进行性能优化。下面将详细讨论相关知识点。 首先，YOLO是一种实时目标检测算法，它在保持高检测速度的同时，还能...
xinference搭建
liuzhenghua66的博客
04-09 3121
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。帮助文档：https://inference.readthedocs.io/zh-cn/latest/models/index.html 运维 部署 内置模型以及调用示例：https://inference.readthedocs.io/zh-cn/latest
Docker容器
infinitylp的博客
05-06 440
【xinference】（14）：在compshare上，安装nvidia-docker工具，成功启动推理框架xinference-gpu的docker镜像，并运行大模型，非常简单方便！
最新发布
freewebsys的专栏
07-06 773
Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便。然后就可以通过界面启动模型了，支持大语言模型，embedding模型，rerank等。UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。
Linux纯CPU环境部署运行大模型实践
weixin_42458975的博客
06-06 1617
介绍在单台linux系统电脑，纯CPU运行环境下部署运行大模型的三种方式，基于ollama工具，lame.cpp工具和transformers方式加载运行。总体来说，三种方式都较为方便，并且在资源和性能平衡上给出建议，非常适合初学者上手实践。
ChatGML-6B大模型Windows部署（可CPU运行 保姆级教程）
2401_84080967的博客
04-13 2372
ChatGML-6B 是一个大型语言模型,被训练来预测人类语言。它是基于 GPT 模型的一种改进版本，拥有 6.3 亿个参数，是当前最大规模的中文语言模型之一。ChatGML-6B 模型由清华大学 KEG 实验室和智谱AI共同训练,拥有强大的语言理解和生成能力。
笔记本+window+cpu本地十分钟部署大模型
weixin_75191018的博客
03-11 3078
演示环境:华为笔记本window 提前准备魔法如果想要更好的学习入门大模型相关,成为一个魔法师是很重要的不过多解释docker,简单解释一下教程中docker安装目的: docker desktop软件官网:https://www.docker.com/products/docker-desktop/下载后直接下一步无脑安装,确保桌面出现docker图标 针对个人可以免费使用,进入程序,直接注册登陆即可 确保进入当前页面win+R 进入命令行 输入如下口令 出现上述图片,证明docker安装成功,完成一大半
AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署
人工智能领域博客
05-07 4881
本文简要讲述了一行代码完成Xinference本地部署以及两行代码完成Xinference分布式部署以及webui和接口调用，其中快捷部署、极为友好的webui、可配modelscope以及提供兼容OpenAI的API等诸多优点，实属良心之作。真诚的希望通过写博客的方式将自己涉猎过的大模型开源项目分享给大家，由于个人经历有限，不能保证每篇文章都写的特别深入，但尽量保证内容自己实际操作过，避免大家重复踩坑。
windows wsl2（ubuntu）使用xinference快速部署ai模型
m0_61069946的博客
03-26 1938
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
算法部署-使用TensorRT8.6部署SAM分割一切大模型-大模型部署-优质算法部署项目实战.zip
03-05
在本项目中，我们将深入探讨如何使用TensorRT 8.6来部署SAM（Sharpness-Aware Minimization）分割模型，这是一种高效且精确的大模型部署策略。TensorRT是NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。...在实践中不断提升自己的技能，掌握大模型部署的核心技术。
大模型落地到代码助手场景的探索实践
04-25
### 大模型落地到代码助手场景的探索实践 #### 一、引言 近年来，人工智能技术，特别是大模型的应用，已经深刻改变了多个行业的面貌。在软件开发领域，这些技术不仅提高了开发效率，还增强了开发者的创新能力。...
Windows 安装 Xinference
engchina的专栏
03-08 2824
Windows 安装 Xinference
部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！
2201_75499313的博客
03-14 7979
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
【语言模型】Xinference的部署过程
kewaqi618的博客
06-28 2885
根据自己的需求构建自定义的Xinference Docker镜像，包括安装特定的依赖项、配置环境变量等。这有助于你更灵活地部署和管理Xinference服务。扩展API接口：如果你需要实现自定义的API接口或扩展现有接口的功能，你可以使用Xinference提供的Python SDK或RESTful API接口进行开发。这允许你根据自己的业务需求定制服务的功能和性能。
win10部署xinference遇到的问题
m0_45107976的博客
03-25 3730
通过该命令，可一键下载安装。先在macOS上一键部署，中途没有遇到任何障碍，奈何模型太大，mac的内存不够又配了一遍win10，然而在win10环境下，这条命令。
docker 卸载docker
03-26
Docker是一种开源的容器化平台，它可以帮助开发者将应用程序及其依赖项打包成一个独立的容器，以便在不同的环境中进行部署和运行。通过使用Docker，开发者可以实现应用程序的快速部署、可移植性和可扩展性。 要卸载Docker，可以按照以下步骤进行操作： 1. 停止Docker服务：在终端中运行以下命令停止Docker服务： ``` sudo systemctl stop docker ``` 2. 移除Docker软件包：运行以下命令来移除Docker软件包： ``` sudo apt-get purge docker-ce docker-ce-cli containerd.io ``` 3. 删除Docker相关文件：运行以下命令来删除Docker相关的文件和目录： ``` sudo rm -rf /var/lib/docker ``` 4. 删除Docker镜像和容器（可选）：如果你想删除所有的Docker镜像和容器，可以运行以下命令： ``` docker system prune -a ``` 完成以上步骤后，Docker就会被成功卸载。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值