【大模型部署】本地部署FastGPT使用在线大语言模型

于 2024-09-27 20:55:02 发布
阅读量530 收藏 6
点赞数 10
文章标签： 人工智能 自然语言处理 大模型 langchain ollama fastgpt LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/142602209
版权

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同，为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所示：
在这里插入图片描述

本文章将介绍如何部署OneApi和FastGPT，以及两种在线大语言模型（AzureOpenAI和讯飞星火3.5）的配置方法。

我将在Windows系统的WSL子系统上进行部署，WSL子系统安装的是Ubuntu22 Linux系统，WSL的部署方式完全适用于真实的Linux系统。

一、部署OneApi

OneApi项目开源地址：https://github.com/songquanpeng/one-api

1.在/opt目录下创建oneapi目录
cd opt
mkdir oneapi
cd oneapi
2.编辑docker-compose.yml文件

在/opt/oneapi目录下创建docker-compose.yml文件，将下面的内容复制进去并保存

version: '3.8'

services:
  oneapi:
    container_name: oneapi
    image: justsong/one-api:latest
    restart: unless-stopped
    ports:
      - 3001:3000
    networks:
      - llm_net
    volumes:
      - ./data:/data
    environment:
      - TZ=Asia/Shanghai

networks:
  llm_net:
    name: llm_net
    external: true
3.创建llm_net docker网络
docker network create llm_net
4.运行oneapi
docker compose up -d
5.配置AzureOpenAI渠道

登录http://localhost:3001，用户名：root，密码：123456。

如果你没有申请AzureOpenAI，可以直接查看讯飞星火的配置方式。其实申请AzureOpenAI并不难，网上教程很多，只要真实填写相关信息，一般24小时内就可以通过。

接下来我们添加AzureOpenAI渠道，按照图中的方式填写就好了。这里有一个需要注意的地方就是名称那一项填的是Azure上面的部署名称，而这个部署名称必须要和模型名称一致（很奇怪的做法，GitHub上已经有人提了issue，正在解决）
在这里插入图片描述

在这里插入图片描述

6.测试

渠道添加成功后，可以在渠道列表页面点击“测试”按钮，如果没有问题，会返回测试成功。
在这里插入图片描述

7.创建令牌

令牌的名称随便填，由于是测试，可以把额度设置为无限额度。

提交后，可以在令牌列表页面复制刚刚创建的令牌，这个令牌将在部署FastGPT时用到。
在这里插入图片描述

二、部署fastgpt

1.在/opt目录下创建fastgpt目录
cd opt
mkdir fastgpt
cd fastgpt
2.编辑docker-compose.yml文件

请先阅读FastGPT官方部署文档：https://doc.fastgpt.in/docs/development/docker/

下载docker-compose.yml文件和config.json文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

编辑docker-compose.yml文件，主要是更改了容器网络，数据库用户名密码之类的

version: '3.8'
services:
  pg:
    image: ankane/pgvector:v0.5.0 # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云
    container_name: pg
    restart: always
    ports: 
      - 5432:5432
    networks:
      - llm_net
    environment:
      - POSTGRES_USER=fastgpt
      - POSTGRES_PASSWORD=123456
      - POSTGRES_DB=fastgpt
    volumes:
      - ./pg/data:/var/lib/postgresql/data

  mongo:
    image: mongo:5.0.18
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    container_name: mongo
    ports:
      - 27017:27017
    networks:
      - llm_net
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=fastgpt
      - MONGO_INITDB_ROOT_PASSWORD=123456
    volumes:
      - ./mongo/data:/data/db
      - ./mongodb.key:/data/mongodb.key

  fastgpt:
    container_name: fastgpt
    image: ghcr.io/labring/fastgpt:latest # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云
    ports:
      - 3002:3000
    networks:
      - llm_net
    depends_on:
      - mongo
      - pg
    restart: always
    environment:
      - DEFAULT_ROOT_PSW=123456
      - OPENAI_BASE_URL=http://192.168.2.117:3001/v1
      - CHAT_API_KEY=sk-XXXXX # 在OneApi中创建的令牌
      - DB_MAX_LINK=5 # database max link
      - TOKEN_KEY=any
      - ROOT_KEY=root_key
      - FILE_TOKEN_KEY=filetoken
      # mongo 配置，不需要改. 用户名myname,密码mypassword。
      - MONGODB_URI=mongodb://fastgpt:123456@mongo:27017/fastgpt?authSource=admin
      # pg配置. 不需要改
      - PG_URL=postgresql://fastgpt:123456@pg:5432/fastgpt
    volumes:
      - ./config.json:/app/data/config.json

networks:
  llm_net:
    name: llm_net
    external: true

这里要注意的 OPENAI_BASE_URL=http://192.168.2.117:3001/v1，我本来想设置成http://oneapi:3000/v1，因为fastgpt与oneapi在同一个docker网络，但fastgpt访问不了这个地址，可能是哪里没有设置对，只好先用本机ip来访问。

3.编辑config.json文件

改动如下，name改成在oneapi配置中的一样
在这里插入图片描述

4.运行fastgpt
docker compose up -d

运行成功之后，不要忘了对MongoDb进行配置，直接按官网的步骤进行操作：

# 查看 mongo 容器是否正常运行
docker ps
# 进入容器
docker exec -it mongo bash
# 连接数据库
mongo -u myname -p mypassword --authenticationDatabase admin
# 初始化副本集。如果需要外网访问，mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()
5.测试

官网说OPENAI_BASE_URL地址后面要加v1，当我加了的时候，测试结果如下，报404：
在这里插入图片描述

于是去oneapi容器查看日志，可以看到fastgpt请求已经转到了oneapi，oneapi又去请求AzureOpenAI， AzureOpenAI返回404。于是去Azure上测试部署后的聊天功能，按F12查看网络请求，发现路由里面没有v1

于是更改docker-compose.yml文件，把OPENAI_BASE_URL值中的v1去掉了，重新执行docker-compose up -d ，重启之后继续测试，这次的报错就不一样了，如下图所示：
在这里插入图片描述

查看oneapi日志，请求结果是200，但没有响应内容，找了很久的原因，无法得知是OneApi还是Azure OpenAI的问题，于是转而去测试讯飞星火大模型。
在这里插入图片描述

三、配置讯飞星火认知大模型

1.创建讯飞模型应用

先去官方领取讯飞星火认知大模型的个人免费试用套餐，然后去到讯飞开放平台去创建基于v3.5版本的应用，得到APPID、APISecret、APIKey三个值（在OneApi中需要用到）
在这里插入图片描述

2.在oneapi页面添加星火模型渠道

在这里插入图片描述

3.编辑fastgpt的config.json文件

增加星火模型的配置
在这里插入图片描述

4.重启fastgpt容器

注意：如果你之前的操作把OPENAI_BASE_URL的v1去掉了，请把它补上，然后执行命令：docker-compose up -d

5.测试

AI模型选择上面配置的spark3.5，测试成功
在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

人工智能小豪
关注
本地部署FastGPT使用在线大语言模型
2401_85375186的博客
06-06 2208
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同，为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所示：
FastGPT私有化部署+OneAPI配置大模型
weixin_43589681的博客
05-24 3155
OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用.由于我的fastGPT使用的是docker部署的，而OneAPI直接下载的exe在本地部署的。
使用fastgpt高效搭建本地离线大语言模型（Chatglm2）问答平台
qq_50097745的博客
10-23 7181
官网的接入本地模型的流程，写的太笼统且分散了，踩了无数坑，在阿里云上ubuntu20使用fastgpt部署好了本地离线大语言模型问答平台
FastGPT本地手动部署（二）
Linux猿
06-29 682
本篇文章主要介绍如何在本地手动部署 FastGPT。
Linux从零部署本地AI大模型对接本地知识库全记录
m0_63171455的博客
05-23 1877
在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
OneAPI接入本地大模型+FastGPT调用本地大模型
weixin_43589681的博客
05-24 2135
将Ollama下载的本地大模型配置到OneAPI中，并通过FastGPT调用本地大模型完成对话。
FastGPT+ChatGLM3本地部署
weixin_48435461的博客
04-15 1563
FastGPT结合ChatGLM的本地部署
本地部署知识库——大模型框架xinference的本地架设
lxszyj的博客
06-27 3099
断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）
小白之 FastGPT Windows 本地化部署
qq_51047851的博客
08-25 1906
小白之 FastGPT Windows 本地化部署
【大模型部署】小白教学,离线本地部署AI-fastGPT-资源包
03-19
在本教程中，我们将深入探讨如何进行大模型的离线本地部署，特别是针对AI-fastGPT模型。这个资源包提供了一种简单易懂的方式，让即使是初学者也能顺利完成部署工作。我们将关注两个核心文件——`config.json`和`...
fastgpt本地详细部署以及配置
平原的博客
03-10 5928
在 CentOS 上，如果您想让普通用户安装和使用 Docker，您需要执行以下步骤。oneapi中的通用key，如果配置的是本地chatglm或者m3e向量模型，填以下key即可。注：配置oneapi服务地址，如果127.0.0.1 不管用，使用服务器中的ifconfig。请注意，用户必须注销并重新登录才能在不使用 sudo 的情况下运行 Docker 命令。最后访问：127.0.0.1:4000即可，默认用户root，默认密码1234。注：如果中间出现奇奇怪怪的问题，可以重新拉取，删掉容器重新启动。
FastGPT部署和接入使用重排模型bce-reranker-base
洛阳泰山的博客
07-23 1505
是一种专门用于信息检索和自然语言处理领域中的重排序（reranking）模型。这种模型由北京智源人工智能研究院（BAAI）开发，是 BGE（BAAI General Embedding）系列的一部分。BGE 系列模型专注于提供通用的嵌入表示，而则更进一步，在初步检索的结果基础上，对候选结果进行重新排序，以提高最终检索结果的相关性和质量。基本上是一种深度学习模型，它接受查询和文档对作为输入，并输出一个分数，该分数表示给定文档与查询之间的相关性。这个分数被用来重新排序初步检索得到的文档列表。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 551
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1352
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【人工智能】多模态AI：如何通过融合文本、图像与音频重塑智能系统未来
最新发布
qq_42978535的博客
09-26 715
是一项令人兴奋的新兴技术，旨在通过结合文本、图像和音频等多种数据模态，打造更加智能化和人性化的系统。随着深度学习和自然语言处理（NLP）的飞速发展，多模态AI正在为下一代智能系统奠定基础，使它们能够同时理解多种感官信息，并做出更加复杂的决策。例如，在自动驾驶系统中，车载AI不仅需要分析摄像头图像，还需要理解驾驶员的语音指令，同时处理雷达和音频信号。我们将文本和图像的嵌入向量通过拼接的方式融合。在本篇文章中，我们将深入探讨多模态AI的工作原理、技术挑战，以及如何通过代码示例来实现文本、图像与音频的融合。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1048
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
IT行业中的技术趋势与未来展望
2301_78944833的博客
09-21 1984
IT行业正在经历一场前所未有的技术变革，各种新兴技术相互融合，推动着企业和社会的数字化转型。从云计算到人工智能，从物联网到区块链，这些技术趋势不仅改变了IT行业的面貌，也塑造了未来世界的形态。无论是IT从业者还是企业管理者，紧跟这些技术趋势，将在未来的竞争中占据有利位置。
ZionAI应用无代码开发平台 | OPENAIGC开发者大赛企业组AI创新之星奖
RPA中国
09-20 395
通过全自动化的设计系统和精准的供应链链接，生境科技不仅提升了消费者的购物体验，也为家居行业带来了新的机遇和挑战。ZionAI 是一个无代码开发平台，旨在简化人工智能应用的开发过程，使每个人都能轻松创建自己的 AI 应用。该平台提供了可视化的开发工具，用户只需通过拖拽操作即可完成应用的设计和部署，降低了技术门槛，促进了创新。ZionAI 平台基于云原生技术和 Kubernetes 架构，采用 Postgres 数据库和 GraphQL 查询语言，支持高并发和复杂逻辑的处理。ZionAI应用无代码开发平台。
fastgpt本地化部署fastgpt本地化部署
06-28
FastGPT是一个开源的预训练语言模型，其部署本地化通常涉及到以下几个步骤： 1. **下载和安装依赖**：首先，你需要从FastGPT的GitHub仓库下载源代码，并确保你已经安装了必要的本地开发环境，如Python、TensorFlow或PyTorch等。 2. **数据准备**：本地化部署可能需要根据你的目标语言或特定任务调整数据集。这可能包括对原始数据进行预处理、标记化，以及为特定领域生成额外的训练样本。 3. **模型配置**：在代码中，配置FastGPT以适应本地环境，这可能涉及设置模型参数、选择正确的硬件加速（如GPU或TPU）以及指定模型的权重路径。 4. **编译和训练**：如果模型需要微调或从头训练，使用本地数据对模型进行编译和训练。这可能需要较长的时间，取决于模型的规模和可用的计算资源。 5. **部署服务**：一旦模型训练完成，将其部署到服务器上，可以作为API服务，用户可以通过HTTP请求调用它进行交互。你可能需要使用Web框架（如Flask或Django）将模型集成到一个可扩展的服务架构中。 6. **性能优化**：考虑如何优化推理速度，例如通过批处理、模型量化、缓存等技术提高响应时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值