【大模型部署】小白教学,离线本地部署AI： chatglm3+one-api+fastGPT----Linux环境部署CPU运行---带资源包

已于 2024-03-27 09:49:13 修改
阅读量3.2k 收藏 38
点赞数 34
文章标签： chatgpt 人工智能 ai linux arm docker 自然语言处理
于 2024-03-19 17:14:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YeMu11/article/details/136847203
版权
本文详细指导如何在Linux环境中离线部署AI应用chatglm3、one-api和fastGPT，包括下载Docker安装包、配置Docker服务、导入镜像、创建和运行容器，以及必要的设置和验证步骤。
摘要由CSDN通过智能技术生成

小白教学,离线本地部署AI： chatglm3+one-api+fastGPT----Linux环境部署CPU运行
在所有操作之前需在在线机器上按在线部署步骤部署一遍导出离线部署所需文件,在这里我为大家已经准备好了所需文件所以免去此步骤!

(由于部分文件过于庞大这里还是不放了,本文只提供了部分关键文件)

  • linux离线安装docker

  •  解压安装包
sudo tar -xvf docker-25.0.3.tgz
  • 将解压出来的docker文件内容移动到 /usr/bin/ 目录下

#移动命令 复制命令请用cp
sudo  mv docker/* /usr/bin/
  • 将docker注册为service服务
sudo vi /etc/systemd/system/docker.service
  • 在打开的docker.service 文件中写入以下代码:
[Unit] 
# 服务的描述信息 
Description=Docker Application Container Engine 
# 服务的文档链接 
Documentation=https://docs.docker.com 
# 服务启动顺序，确保在网络和防火墙服务之后启动 
After=network-online.target firewalld.service 
# 表明该服务希望与 network-online.target 同时启动 
Wants=network-online.target 
[Service] 
# 服务类型，notify 表示当服务准备好后，会发送一个信号给 systemd 
Type=notify 
# 默认情况下不使用 systemd 管理 cgroups，因为还存在代理问题，并且 systemd 目前不支持 Docker 容器所需的 cgroup 功能集 
# the default is not to use systemd for cgroups because the delegate issues still 
# exists and systemd currently does not support the cgroup feature set required 
# for containers run by docker 
ExecStart=/usr/bin/dockerd 
# 重新加载服务的命令 
ExecReload=/bin/kill -s HUP $MAINPID 
# 由于内核中的会计开销，非零的 Limit* 会导致性能问题。我们建议使用 cgroups 进行容器本地会计。 
# Having non-zero Limit*s causes performance problems due to accounting overhead 
# in the kernel. We recommend using cgroups to do container-local accounting. 
LimitNOFILE=infinity 
LimitNPROC=infinity 
LimitCORE=infinity 
# 如果你的 systemd 版本支持，可以取消注释 TasksMax。仅 systemd 226 及更高版本支持此功能。 
# Uncomment TasksMax if your systemd version supports it. 
# Only systemd 226 and above support this version. 
#TasksMax=infinity 
# 启动超时时间 
TimeoutStartSec=0 
# 设置 delegate 为 yes，以便 systemd 不重置 Docker 容器的 cgroups 
# set delegate yes so that systemd does not reset the cgroups of docker containers 
Delegate=yes 
# 只杀死 Docker 进程，而不是 cgroup 中的所有进程 
# kill only the docker process, not all processes in the cgroup 
KillMode=process 
# 如果 Docker 进程过早退出，则重新启动它 
# restart the docker process if it exits prematurely 
Restart=on-failure 
# 在给定的时间间隔内，如果服务启动失败次数超过 StartLimitBurst 指定的值，则 systemd 会认为该服务启动失败 
StartLimitBurst=3 
# 在 StartLimitInterval 秒内，服务启动失败的次数达到 StartLimitBurst 指定的值后，系统会将服务标记为失败状态 
StartLimitInterval=60s 
[Install] 
# 服务启动时想要的目标 
WantedBy=multi-user.target
  • 添加用户权限
# 使用sudo权限添加一个新的用户组名为docker 
sudo groupadd docker 
# 使用sudo权限将当前用户（$USER代表当前用户）附加到docker用户组中 
# -a选项表示将用户添加到附加组，而不是替换用户当前所在的所有组 
# -G选项后面跟的是用户组名，这里指定为docker 
sudo usermod -aG docker $USER    #用户授权
sudo reboot    #重启系统
  • 验证:
systemctl status docker  #查看Docker状态
docker -v                #查看Docker版本

  • 导入镜像

  •  将镜像文件导入至本地机器
#导出命令: docker save  镜像名 -o 保存位置
#导入命令:docker load -i 包名称.tar
  •  在命令行输入以下命令导入(非本地部署的可以跳过此步及以上步骤,按后续步骤执行即可拉取镜像,接入接口即可):
sudo docker load -i ./one-api.tar
sudo docker load -i ./fastgpt-v4.6.6.tar
sudo docker load -i ./chatglm3.tar
sudo docker load -i ./v0.5.0.tar
sudo docker load -i ./fast-os.tar
sudo docker load -i ./mongo.tar
  • 验证:
sudo systemctl restart docker               #重启docker
sudo docker images                          #查看所有镜像

  • 部署容器

这里先装一个fast-os的docker可视化容器,这个只是个人习惯使用可以不装.

  • Docker命令创建可视化容器(ip:8081)：
sudo docker run --restart always --name fast -p 8081:8081 -d -v /var/run/docker.sock:/var/run/docker.sock wangbinxingkong/fast
  •  Docker命令创建chatglm3容器(ip:8000):
sudo docker run --name chatglm3 -p 8000:8000 registry.cn-hangzhou.aliyuncs.com/ryyan/chatglm.cpp:chatglm3-q5_1
#这个命令非后台,执行后进程会随命令行窗口关闭随之关闭,后续程序在新命令行窗口执行即可.
  •  Docker命令创建one-api容器(ip:3000):
sudo docker run --name oneapi -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
  •  创建成功后在浏览器访问端口进行程序内的配置(ip:3000):

 在浏览器打开的页面中点击令牌，输入默认用户名root，密码123456进行登录：

​

 在One API中点击渠道，创建新的渠道,均写入chatglm3名称可在后面避免错误.

 代理框里写IPV4地址,密钥那里是本地部署的话随便写

​

在 One API中点击令牌，选择添加新的令牌并设置为永不过期和无限额度.

​

  • Dock er命令创建FastGPT容器(ip:3020):

在任意目录中手动创建文件夹fastgpt，并在这个文件夹中手动创建docker-compose.yml和config.json文件（复制资源包内我之前写好的即可）

​

    因为是离线部署这里需要安装docker-compose

安装: 

mv docker-compose /usr/local/bin/docker-compose     #复制文件到指定目录
chmod +x /usr/local/bin/docker-compose              #给文件添加执行权限

验证:

docker-compose -v

    要在配置文件内修改自己的IP和生成的密钥

然后在此目录下打开终端输入以下命令(创建的fastgpt文件夹内打开命令行):

docker-compose bulid  #依据docker-compose.yum生成镜像
docker-compose up -d  #启动容器加 -d代表后台守护进程启动

进入fastgpt的web页面:

输入默认的用户名root，密码1234

​

新建应用

​

    在左侧选择“AI模型”为chat3glm3，点击“保存并预览”，即可在右侧输入问题并得到回答：

​

然后就可以开始聊天了!

​

YeMu11
关注
  • 34
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Linux系统从零搭建本地大模型
qq_45179513的博客
11-08 1115
Linux系统下，从零搭建出属于自己的大模型
本地化部署Fastgpt+One-API+ChatGLM3-6b知识库
lachesis617的博客
02-24 4414
ChatGLM3-6b代码2.FastGPT3.向量模型m3e先安装Anaconda3先创建名字是chatglm3-demo的环境chatglm3-6b需要Python 3.10以上。换到demo下测试模型，先安装requirements.txt，可以先把torch删除单独安装。Code Interpreter 还需要安装 Jupyter 内核。新建系统变量名=IPYKERNEL。值=chatglm3-demo安装pytorch和torchvision的对应版本在下载包的位置安装。
全部本地化！ChatGLM+oneapi+fastgpt+微秘+微信 部署实操
King_key的博客
01-21 4031
问题：chatglm的openAPI报错await fut解决：参考将openai_api.py文件中3处替换为。
本地离线部署Ai大模型的三种方案，含安装教程！
python123456_的博客
05-29 3038
在GPU下运行：docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。把我们的模型放到对应的文件夹中。
Linux平台利用Ollama和Open WebUI部署大模型
Clang’s Blog
03-23 5535
在当今的人工智能领域，部署大型深度学习模型是一个挑战，尤其是对于那些不熟悉复杂技术栈的用户而言。然而，随着开源技术的不断发展，出现了一些强大的工具，如 Ollama 和 Open-webui，使得部署大型模型变得更加简单和高效。Ollama 是一个功能强大的开源平台，专门用于部署深度学习模型。与此同时，Open WebUI 是一个开源的 Web 用户界面工具，为用户提供了友好的界面来与 Ollama 平台进行交互。
在Linux系统下部署Llama2（MetaAI）大模型教程
浩栋的博客
11-06 6141
在Linux系统下部署Llama2（MetaAI）大模型教程。1、本文选择部署的模型是Llama2-chat-13B-Chinese-50W。2、由于大部分笔记本电脑无法满足大模型Llama2的部署条件，因此可以选用autodl平台（算力云）作为部署平台。
Linux从零部署本地AI大模型对接本地知识库全记录
m0_63171455的博客
05-23 1343
在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
【LLM_05】使用fastgpt搭建本地离线大语言模型（Chatglm3）问答+知识库平台
12-07 8450
1、大语言模型：ChatGLM3-6b【可替换成ChatGLM3-6b-32k】2、词向量模型：m3e、bge【有m3e_base、m3e_large、bge_large等等，可以自行选择性能最好的向量模型】3、监控和管理docker的工具：Portainer.io4、系统：ubuntu20（22也一样）5、配置docker、启动oneAPI、启动FaskGPT【具体步骤请看=》
Gemma部署，开源大模型快速Linux本地安装教程（超简单）
Nice_why的博客
02-29 2895
关于Ollama和谷歌开源大模型Gemma的本地快速部署
【大模型部署】小白教学,离线本地部署AI-fastGPT-资源包
03-19
在本教程中，我们将深入探讨如何进行大模型的离线本地部署，特别是针对AI-fastGPT模型。这个资源包提供了一种简单易懂的方式，让即使是初学者也能顺利完成部署工作。我们将关注两个核心文件——`config.json`和`...
ChatGLM3+更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数
01-11
ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战
04-27
在当前的IT领域，大语言模型的部署是热门话题，特别是在人工智能和自然语言处理（NLP）的应用中。本文将详细解析如何利用OpenVINO工具部署LLM（Large Language Model）大语言模型，如LLama2、ChatGLM3和Qwen7B，并...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
最新发布
06-07
在当前的IT行业中，大模型部署是人工智能领域的一项关键技术，特别是在深度学习和自然语言处理（NLP）的应用中。OpenVINO（Open Visualization Inference and Neural Network Optimization）是由Intel开发的一个工具...
【大模型本地知识库搭建】ChatGLM3，M3E，FastGPT，One-API
Bowen_Ding_的博客
04-12 4617
本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。
使用fastgpt高效搭建本地离线大语言模型（Chatglm2）问答平台
qq_50097745的博客
10-23 6890
官网的接入本地模型的流程，写的太笼统且分散了，踩了无数坑，在阿里云上ubuntu20使用fastgpt部署好了本地离线大语言模型问答平台
intel oneapi简洁版安装教程（离线静默安装（非交互式），自定义组件，以2024版HPC toolkit安装为例）
"my"的博客
03-10 1461
intel oneapi简洁版安装教程（离线静默安装（非交互式），自定义组件，以2024版HPC toolkit为例） 具体命令解析参考我另一篇博客[https://blog.csdn.net/qq_29809823/article/details/118939173](https://blog.csdn.net/qq_29809823/article/details/118939173)
FastGPT+ChatGLM3本地部署
weixin_48435461的博客
04-15 1343
FastGPT结合ChatGLM的本地部署
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YeMu11

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值